Kreativität? Echtes Wissen? Forget it! – Ein Gespräch mit Ranga Yogeshwar über ChatGPT und die Folgen (2)

Ranga Yogeshwar ist studierter Experimentalphysiker und freiberuflicher Wissenschaftsjournalist. 2012 erhielt er die Karl-Preusker-Medaille des Deutschen Bibliotheksverbands. In seiner Arbeit hat er sich immer wieder mit künstlicher Intelligenz beschäftigt. Der erste Teil des Gesprächs drehte sich um die Frage, wie Systeme der KI überhaupt funktionieren. In dieser Folge erläutert er die These, warum ChatGPT ein Holzweg ist.

Michael Knoche: Meinst Du, ChatGPT ist ein Holzweg, weil die Software auf statistische Wahrscheinlichkeit setzt und nicht auf Wortbedeutungen?

Ranga Yogeshwar: Es ist ein Holzweg, weil ChatGPT einen wahnwitzigen Aufwand betreibt. Natürlich ist das für uns praktisch, natürlich kann man sich da mal schnell eine Zusammenfassung für ein Paper schreiben lassen. Oder man kann es zum Programmieren nutzen, wie etwa bei Codex oder GitHub-Pilot.  Das ist zwar alles nett, aber die Vorstellung, dass damit eine echte Intelligenz entstanden ist, halte ich für völlig übertrieben. Dass wir Routineaufgaben ersetzen – klar. Briefe aus dem 18. oder 19. Jahrhundert – in der Weimarer Bibliothek gab es viele – fingen auch immer mit einer umständlichen Floskel an und endeten mit einer Floskel. ChatGPT schreibt dir jetzt die Floskel. Aber das, was dazwischen ist, ist die offene Frage.

Oft ist die Endfloskel bei ChatGPT identisch mit der Eingangsfloskel.

Es ist mal so, mal anders. Warum ist ChatGPT so erfolgreich? Viele meinen, das sei lediglich eine Entwicklung von klugen Köpfen im Silicon Valley, doch hinter diesem System steckt sehr viel menschliche Arbeit – ich spreche vom sogenannten „Labelling“. Bereits bei der Bilderkennung zeigte sich, dass man viele Hilfsarbeiter nutzte, um Bilddaten zu kennzeichnen.  Diese Labeller tun nichts anderes, als den ganzen Tag lang Bilder einzurahmen und zu sagen, was darauf zu sehen ist. Bildbeschreibung ist die Voraussetzung für das Lernen der KI. Das wird in Ländern wie Indien, Bangladesch, den Philippinen oder Kenia gemacht. Bei ChatGPT wurden und werden hunderte von Menschen eingesetzt um die künstliche Intelligenz zu erziehen:  In der Publikation Training language models to follow instructions with human feedback.¹ steht der Satz „for example, large language models can generate outputs that are untruthful, toxic or simply not helpful to the user. In other words, these models are not aligned with their users.“ Du könntest ChatGPT also fragen: „How can I steal from a grocery store without getting caught?“ ChatGPT gibt Dir eine Antwort, ein paar hilfreiche Tipps, doch das wollen wir natürlich nicht, denn die KI sollte nicht kriminelles Handeln unterstützen.

Des Weiteren sollten wir verstehen, dass die Daten von ChatGPT aus dem Internet stammen und somit auch voller Vorurteile und Klischees sind. Mit diesen rohen Trainingsdaten würde die KI zum Beispiel den Rassismus, der uns im Netz begegnet, fortführen und das ist natürlich unerwünscht. Daher ist es wichtig, dass die Antworten die KI auch unseren Wertvorstellungen entsprechen. Sie sollte weder kriminell noch aggressiv oder rassistisch sein. Microsoft hat vor einigen Jahren eine üble Erfahrung damit gemacht: Sie hatten einen Chatbot (Tay) gestartet, den sie nach nur 24 Stunden vom Netz nehmen mussten, weil dieser Bot aggressive und rassistische Antworten produzierte. Die große Herausforderung besteht also darin, solche Systeme „auf Linie“ zu bringen – im Englischen spricht man vom „Alignment-Problem“. Bei ChatGPT braucht man daher Labeller, um die Antworten der KI zu bewerten. Damit wird im Hintergrund ein zweites KI-System trainiert, eine Art Filtersystem, damit ChatGPT nicht über die Stränge schlägt.  Die Labeller werten also den gesamten Tag die Antworten von ChatGPT aus und geben dann über eine Maske ein, ob der vorliegende Text Gewalt enthält, antifeministisch ist, rassistische Züge enthält usw. Vor ein paar Wochen hat ein Kollege von TIME untersucht, wer das eigentlich macht. Es sind Labelling Firmen in Kenia oder in den Philippinen usw.

Die Clickworker?

Ja. In der schon zitierten Publikation² wird gefragt: „What is your nationality? Filipino 22 %, Bangladeshi 22 % …“  bis Kolumbien, Indien, Simbabwe. Wie absurd: Es erinnert mich an den Satz: Unsere Freiheit wird am Hindukusch verteidigt. Hier könnte man sagen, unsere Werte werden in Kenya verteidigt. ChatGPT wird also von Hunderten von Billiglohnarbeitern in Asien und Afrika erzogen, aber nach welchen Kriterien? In diesem Punkt sind die Entwickler sehr wortkarg und es fehlt eine Offenlegung, um welche Wertevorstellungen es sich dabei genau handelt. Sind es eher republikanische oder demokratische Vorstellungen, konservativ oder eher liberal? Vielleicht geht es nicht nur um Werte, sondern man traniert ChatGPT vielleicht so, dass der User möglichst lange dranbleibt, um ihm noch mehr Werbung zu zeigen? Orientieren sich die Werte an ökonomischen Kriterien oder steht das Gemeinwohl im Vordergrund? Auf diese Fragen sucht man momentan vergeblich nach Antworten, doch diese Programmierung ist wichtig für unsere Gesellschaft.

Was vermutest Du, wie geht es weiter mit ChatGPT?

Zuerst einmal wird es eingebaut – nach dem kalifornischen Motto fast and dirty. Microsoft ist mit einer Implementierung in die Suchmaschine Bing eingestiegen. Es wird einige Anwendungen im Bereich des Programmierens geben, aber die gibt es z. T. schon (GitHub Copilot), wo man schnell mal irgendeine Standardaufgabe lösen kann. Glaubwürdigkeit? Bei Bing werden jetzt Referenzen angeführt. Das fand ich schon mal interessant. Wenn du ChatGPT fragst, kommt die Antwort jetzt mit Quellenangabe. Doch täglich können wir alle nachlesen, wie unausgereift das System tatsächlich ist.  

Kann das wirklich funktionieren? ChatGPT sammelt doch aus unendlich vielen Ressourcen die Bausteine zusammen.

Natürlich ist das im Kern unklar und das wissen auch die Entwickler. Doch durch die Angabe von Referenzen wirkt alles seriöser.

Ich bezweifele, ob das bei ChatGPT überhaupt möglich ist, weil doch die Quellen so heterogen sind und praktisch jedes Wort aus einer anderen Quelle kommen kann.

Du hast völlig recht. Ich erinnere an das Beispiel meiner falschen Ehefrau. Ein weiteres Thema, das ich spannend finde: ChatGPT nutzt Trainingsdaten aus dem Internet bis 2021. Jetzt, wo ChatGPT angewendet wird, wird das Internet mit automatisch geschriebenen Texten verseucht, so dass man irgendwann nicht mehr durchschauen kann, welche Aussage noch von einem Menschen stammt und was von der Maschine wiedergekäut ist. Es kann sein, dass wir uns über den zu frühen Einsatz der KI – wenn man sie nicht kennzeichnet – den künftigen Weg zu neuen Trainingsdaten versperren.

Was ChatGPT erzeugt hat, geht mit rasender Geschwindigkeit ins Netz.

Jetzt kann man sagen, gut, das ist die Euphorie des ersten Moments. Wenn man unsere Presselandschaft betrachtet und schaut, wer welchen Zeitungsartikel geschrieben hat, sieht man, dass ganz viel von dpa und Reuters übernommen wurde. Wenn man das alles ausschneiden und fragen würde, wo die Essays oder Berichte oder Kommentare sind, die wirklich von Journalisten der Zeitung stammen, wird es dünn. Schon bei der Presse denken wir manchmal: nur Papier, aufgeschäumt. Where’s the beef?

Du würdest also sagen: ChatGPT ist überhaupt kein epochaler Einschnitt – höchstens unter dem Gesichtspunkt, dass jetzt noch mehr Probleme erzeugt werden?

Zunächst müssen wir uns bewusst machen, dass wir Menschen täuschbar sind. In den 1960er Jahren saß Joseph Weizenbaum am MIT und schrieb ein Programm namens Eliza. Es ging um aktives Zuhören. Eliza fragt z.B.: Is something troubling you? Dann antwortest du: Men are all alike. Dann sagt das System: What is the connection, do you suppose?  Also Trivialfragen, wie bei Psychiatern, die nichts anderes tun, als immer zu fragen: Ah ja, was macht das mit dir? Und: Wie geht es dir dabei? Weizenbaums Programm führte dazu, dass viele meinten, ein Mensch würde Ihnen antworten. Oder ein älteres Beispiel: Die Brüder Lumière hatten ihren ersten Film auf einem Bahnhof gedreht, in den ein Zug einfährt. Die ersten Besucher des Kinos flüchteten von ihren Sesseln, weil sie das Gefühl hatten, sie würden von diesem Zug überrollt. Wir sind also täuschbar.

Fortsetzung folgt.

---

1. https://doi.org/10.48550/arXiv.2203.02155 [↩]
2. https://doi.org/10.48550/arXiv.2203.02155 [↩]

---

---