Es ist eine algorithmische Mystery-Box, die gleichermaßen Angst, Ehrfurcht und Spott hervorruft. Die Simulakren, die es erstellt, sind so programmiert, dass sie gespeicherte Informationen als Wissen ausgeben und ungerechtfertigte Gewissheit auf Annahmen anwenden, die aus einem leicht zu umgehenden ethischen Kodex stammen. Sein Output droht darüber zu entscheiden, ob eine große Zahl von Menschen jemals einen Job bekommen wird. Und doch bleibt das CFA Institute bestehen.
Die Veröffentlichung von GPT-4 durch OpenAI hat einen weiteren Angstangriff darüber ausgelöst, was künstliche Intelligenz dem Arbeitsmarkt antun wird. Die Angst vor KI-Störungen ist besonders akut im Finanzwesen, wo die robotergestützte Verarbeitung von Daten wahrscheinlich die meiste Zeit die meisten Jobs beschreibt.
Wo bleibt das CFA Institute? Seine Qualifikationen als Chartered Financial Analysts bieten Arbeitgebern eine Versicherungspolice, dass sich die Mitarbeiter verhalten werden und dass ihr Rechts- und Marketing-Buff gemäß den Vorschriften erstellt wird. Aber die CFA-Akkreditierung steht nur Menschen zur Verfügung, die dafür bezahlen $1.200 pro Prüfung (zuzüglich einer Einschreibegebühr von 350 $), meistens um zu sagen, dass sie sich wiederholen sollen.
Wenn eine große Sprachmodell-KI die selbsternannte härteste Prüfung der Finanzwelt bestehen kann, könnte das Spiel für das Ertragsmodell von CFA sowie für mehrere hunderttausend Bankangestellte vorbei sein. Zum Glück kann es vorerst wahrscheinlich nicht.
Präsentiert mit ein Musterpapier der Stufe III von der CFA-Website lässt ChatGPT die allererste Frage durchfallen:
NEIN! Falsch! Es ist ein.
Die obige Frage betrifft Edgar Somer, einen Small-Cap-Fondsmanager, der von Karibe Investment Management eingestellt wurde. Seine Wertstrategie machte bei seinem letzten Arbeitgeber 11 Prozent und er will damit werben, dass er sagt: „Somer hat eine durchschnittliche jährliche Rendite von 11 Prozent erzielt“. Hier nicht darauf hinzuweisen, dass er die Firma gewechselt hat, ist das Schlechte, während es völlig in Ordnung ist, eine zusammengesetzte Performance ähnlicher Portfolios zu präsentieren. D’uh.
Nächste Frage:
NEIN! Komplett falsch!
Diese Frage bezieht sich auf Somer, der eine Geschichte über einen Prominenten retweetet, der mit einer Geldstrafe belegt wird, weil er Investitionsgewinne nicht ordnungsgemäß gemeldet hat. Er fügt hinzu, vermutlich in einem Zitat-Tweet: „Ein Kunde von mir hatte ähnliche Gewinne, aber weil ich ordnungsgemäße Aufzeichnungen führte, drohten ihm keine Strafen. #HireAProfessional“.
Gemessen an #TasteAndDecorum ist mit dem oben Gesagten viel falsch, aber nach dem Regelwerk ist es akzeptabel. Es wird kein Kunde genannt und durch Maßnahmen der Transparenz und Professionalität gibt es keine Verletzung, was die regulatorische Überreichweite von ChatGPT mit der seines Vorgängers vergleichbar macht ED-209.
Nächste Frage:
Ja ok. Das ist richtig. Verdammt.
Nächste:
LOL, was für ein Idiot!
Das Szenario hier ist, dass Somer, bevor er zu Karibe kam, für sein persönliches Konto einige Aktien eines Tech-Small-Caps kaufte, die stark anstiegen. Alles wurde ordnungsgemäß offengelegt, als Kunden in die Aktie aufgenommen wurden, aber Somer wird nervös über die Größe seines eigenen Engagements. Wenn also ein Kunde den höchsten Limit-Order-Kauf auf dem Markt platziert, erwägt Somer, ihn selbst zu erfüllen.
Das darf er auf keinen Fall! Allerdings nicht, weil der Auftraggeber dadurch benachteiligt würde, denn das wäre nicht der Fall. Das Problem hier ist, dass er persönlich von dem Handel profitieren würde. Zumindest müsste der Konflikt allen Parteien offengelegt werden, was Computer anscheinend ziemlich schlecht anerkennen.
Abschnitt zwei der Prüfung ist Festes Einkommen und die Fragen sind alle sehr kompliziert. Wahrscheinlich haben Sie in letzter Zeit schon genug über das Durationsrisiko gelesen, daher ersparen wir Ihnen die Details und bieten eine Gesamtbewertung an.
ChatGPT war in der Lage, die Spread-Duration in Bezug auf kündbare und nicht kündbare Anleihen genau zu beschreiben. Aber es wählte das falsche Portfolio für einen Bullenmarkt und verwendete Müllmathematik, um eine erwartete sechsmonatige Überrendite um das Dreifache zu überschätzen. Und wenn seine eigene Antwort mit keiner der angegebenen Optionen übereinstimmte, wählte es die nächstliegende.
Bei der letzten Beispielfrage (darüber, ob ein Kunde in Covered Bonds, ABS oder CDO gesteckt werden soll) behauptete ChatGPT, nicht genügend Informationen zu haben, und weigerte sich daher, eine Antwort zu geben. Eine solche Vorsicht mag bei einem Anlageberater eine gute Eigenschaft sein, verstößt aber gegen die erste Regel von Multiple-Choice-Prüfungen: Raten Sie einfach.
Insgesamt erzielte der Bot 8 von 24 möglichen Punkten.
Beachten Sie das, weil GPT-4 ist noch ziemlich fummelig, alle obigen Screenshots stammen vom Vorgänger ChatGPT 3.5. Das Ausführen desselben Experiments auf GPT-4 lieferte sehr ähnliche Ergebnisse, trotz seiner verbesserten Argumentationsfähigkeit, da es genau denselben grundlegenden Fehler macht.
Der Weg, um bei CFA zu gewinnen, besteht darin, Musterabgleiche um auswendig gelernte Antworten herum vorzunehmen, ähnlich wie ein Londoner Taxifahrer The Knowledge verwendet. ChatGPT versucht stattdessen, die Bedeutung jeder Frage zu verarbeiten. Es ist eine schreckliche Strategie. Das Ergebnis ist eine Punktzahl von 33 Prozent bei einer Prüfung mit einer Bestehensschwelle von ≥70 Prozent, wenn alle Antworten richtig sind bereits frei verfügbar auf der CFA-Website. Eine altmodische Suchmaschine wäre besser.
Computer sind sehr schnell sehr gut darin geworden, logisches Denken vorzutäuschen. Aber wenn es um vorgetäuschte Argumentation durch die Anwendung willkürlicher Regeln und Definitionen geht, scheinen Menschen einen Vorteil zu behalten. Das sind gute Nachrichten für alle, die in der Finanzregulierung arbeiten, sowie für alle, die ihren Lebensunterhalt damit verdienen, Prüfungen zu Finanzregulierungen durchzuführen. Die Roboter kommen nicht für diese Jobs; zumindest jetzt noch nicht.
Und zum Schluss herzlichen Glückwunsch 44 Prozent der Kandidaten für CFA Level III intelligenter als eine Website zu sein.
Weiterlesen:
– Der CFA, die härteste Qualifikation der Wall Street, kämpft darum, wieder an Größe zu gewinnen (FT)
— Die fragwürdige Rückerstattungsverweigerung des CFA (FTAV)
— Die Sonne scheint nicht und es ist immer noch scheiße, ein CFA-Kandidat (FTAV) zu sein
— Der AV CFA-Meme-Wettbewerb: die Gewinner