Einen Chatbot verantwortungsvoll nutzen? „ChatGPT ist die schlechteste Wahl“

Schreiben Sie einen Vorschlag für eine Rede. Fassen Sie diesen Text zusammen. Schreiben Sie einem unzufriedenen Kunden eine höfliche E-Mail. Mittlerweile kennt fast jeder ChatGPT als Tool. Und vielleicht auch Googles Konkurrent Bard. Aber die Welt kennt noch viele weitere Programme dieser Art, die im Grunde alle gleich funktionieren. Die zugrunde liegenden Sprachmodelle werden mit riesigen Textmengen trainiert, woraufhin die Programme basierend auf Anweisungen des Benutzers neue Texte generieren.

Im Gegensatz zu ChatGPT sind viele dieser Alternativen Open Source, was bedeutet, dass der Quellcode öffentlich verfügbar ist und jeder ihn verwenden oder ändern kann. Andreas Liesenfeld, Alianda Lopez und Mark Dingemanse von der Radboud University habe diese Programme verglichen und fragte mich, wie offen und transparent sie wirklich sind. Und obwohl ChatGPT (wie beispielsweise Bard) kein Open Source ist, wurde zum Vergleich auch der Marktführer in die Studie einbezogen. Der Linguist Dingemanse sieht einen „besorgniserregenden Trend“.

Warum diese Forschung?

„Die Einführung von ChatGPT hat in den letzten Monaten die Welt auf den Kopf gestellt. Das automatische Generieren von Texten scheint für viele Menschen attraktiv zu sein. Das Problem ist, dass niemand genau weiß, wie das zugrunde liegende Modell funktioniert. Offenheit ist entscheidend für die wissenschaftliche Forschung und letztendlich für den Aufbau zuverlässiger KI. Was sind die Grenzen und Risiken solcher Systeme? Wie kommen sie zu ihren Antworten? Mit welchen Texten wurden sie genau trainiert? „Wenn wir echte Fortschritte machen wollen, brauchen wir offene Alternativen.“

Jeder, sogar OpenAI (das Unternehmen hinter ChatGPT), wirft mit dem Begriff „offen“ herum. Aber offen ist nicht immer offen?

„Schlägt. Wir sahen verschiedene Aspekte der Offenheit. Mit „Open Code“ klappt es fast immer. Das bedeutet, dass ich den Code selbst überprüfen kann. Aber es gibt noch viel mehr. Ist beispielsweise klar, welche Trainingsdaten verwendet wurden? Zu Beginn dieses Jahres freute sich OpenAI darüber, dass die neueste Version von ChatGPT eine juristische Prüfung erfolgreich bestehen konnte. Aber vielleicht wurde das Modell mit juristischen Prüfungen trainiert, und dann ist es plötzlich viel weniger beeindruckend.

Das Problem ist, dass wir das nicht kontrollieren können. OpenAI schweigt diesbezüglich sehr geheim, vermutlich aus Angst vor noch mehr Klagen. Mehrere Autoren und Verbraucher beschweren sich bereits über die Verwendung ihrer Texte in den Trainingsdaten. „Glücklicherweise sind die meisten Open-Source-Programme in diesem Punkt transparent, was das Urheberrechtsproblem nicht beseitigt.“

Allerdings sehe ich manchmal auch schlechte Bewertungen für Open-Source-Programme. Wo läuft es schief?

„Haben die Entwickler ihren Code und ihre Auswahl hinsichtlich der verwendeten Softwarearchitektur ordnungsgemäß dokumentiert?“ Nicht immer, denn es kostet viel Zeit. Was kein anderes Projekt gut kann: wissenschaftliche Forschung über sein Sprachmodell veröffentlichen. Auch das hat mit Eile zu tun: Niemand möchte zurückgelassen werden. Ein Blogbeitrag reicht offenbar aus. „Das ist ein besorgniserregender Trend, denn so gibt es keine Qualitätskontrolle durch andere Wissenschaftler.“

Auch bei der mysteriösen Abkürzung RLHF punkten die Chatprogramme schlecht. Was ist das?

RLHF steht für Verstärkendes Lernen aus menschlichem Feedback. Die Models benötigen noch viel Manpower. RLHF sorgt dafür, dass Chatbots reibungslos funktionieren. Sie waren schon viel länger in der Lage, kohärenten Text auszuspucken, fühlten sich aber in der Interaktion steif. Genau dafür werden Menschen benötigt. Sie erhalten von einem Chatbot immer unterschiedliche Antworten und müssen dann angeben, welche Antwort die beste ist. Arbeitsintensive Handarbeit, aber äußerst wichtig. Vergleichen Sie es mit der Tülle, die Konditoren zum Spritzen von Sahne verwenden. Ohne Auslauf wird es ein Chaos. Es ist nicht bei allen Modellen klar genug, wie dieses Teil genau aussieht.“

An der Spitze Ihres Rankings steht Bloomz. Was ist das?

„Das beeindruckt mich sehr.“ Es ist das Ergebnis einer großen europäischen Zusammenarbeit namens BigScience. „Dieses Kollektiv hat das offenste Modell entwickelt und ist das einzige, das klare Einblicke in die Energiekosten dieser Art von Modellen bietet.“

Kann ein solch offenes Modell in der Praxis mit ChatGPT konkurrieren?

„Das interessiert mich nicht in erster Linie.“ Insofern fühle ich mich ein wenig wie ein Sportwissenschaftler auf einer Tournee, bei der auch Lance Armstrong dabei ist. Es hat wenig Sinn, sich zu fragen, wie es anderen im Vergleich zu ihm geht, wenn man nicht weiß, was er nimmt. Als Wissenschaftler möchte ich vor allem wissen, wie es unter der Haube funktioniert und was wir daraus über Sprache und Menschen lernen können, und nicht, ob ich die höchste Punktzahl herausholen kann. „Auf dem tieferen Verständnis, das die Grundlagenforschung bietet, kann man nur weiter aufbauen.“

Macht ChatGPT überhaupt nichts richtig?

„Ich bin ziemlich beeindruckt davon, aber auf eine zynische Art und Weise.“ Seit OpenAI letzten November an die Börse ging, ist die Infrastruktur von ChatGPT darauf ausgelegt, so viel wie möglich von unserer kollektiven Intelligenz zu sammeln, ohne sie dann mit dem Rest der Welt zu teilen. Die Menge an frischen Daten, die sie einsammeln können, ist beispiellos. OpenAI speichert beispielsweise standardmäßig die Chats, die Sie mit ChatGPT führen. Sie werden auch gebeten, als Feedback einen Daumen nach oben oder unten zu geben. Das ist sehr geschickt gemacht.‘

Werden Sie am Ende nicht gegen die Googles und OpenAIs verlieren?

„Qualität ohne Offenheit ist nichts wert.“ Wir hoffen, dass unsere Forschung zu einem viel breiteren Programm von Wissenschaftlern beiträgt, die sich kritisch und bewusst mit dieser Technologie auseinandersetzen. Ich denke, das ist auch die Kraft der Wissenschaft: dass wir gemeinsam Stellung beziehen können. Wir sollten uns auch nicht von all den Entwicklungen überstürzen lassen. ChatGPT ist aufgrund seiner geschlossenen Natur und seines Gewinnstrebens derzeit die schlechteste Wahl, die Sie treffen können, wenn Sie einen Chatbot verantwortungsvoll in der Forschung, Bildung oder anderswo einsetzen möchten.“