Frage: In welchem Maße beeinflusst die Anfrage an ChatGPT (also alles, was man dabei eingibt) das Ergebnis, oder anders gefragt: wie viel muss ChatGPT nach dem fertig trainierten Sprach-Modell noch "arbeiten", um die Antwort zu erzeugen. Oder anders gefragt: Wie viel Einfluss haben die Anwender-Anfragen auf das Funktionieren von ChatGPT - inwiefern verändern die das Sprach-Modell?

Fabian Zehner Beantwortet am 27 Sep 2024:

Die einzelnen Eingaben verändern das Sprachmodell erstmal gar nicht. Erst später werden diese Daten dann wieder hergenommen, um ein neues Modell zu trainieren (der Hype um ChatGPT startete zB mit GPT 3.5, dann kam GPT 4, inzwischen GPT o1).

Was du vielleicht meinst, ist: Wenn ich jetzt gesagt habe, dass das Modell/sein Funktionieren nicht verändert wird, wie kann es dann sein, dass es bei deiner fünften Chat-Nachricht noch weiß, was du in deiner ersten Chat-Nachricht geschrieben hast. Tatsächlich ist es so, dass manche Nachrichten, die man vorher geschickt hat, zusammen mit der neuen Nachricht als sog. Kontext an das Modell mitgeschickt wird. Kontext bedeutet, dass der Hintergrund des Gesprächs (was wurde schon gesagt, worum geht es) immer wieder mitgeschickt wird, um neue Antworten zu erzeugen.

Eine andere Ebene, die du noch fragst, ist auch: Inwiefern ändert sich das Ergebnis, wenn ich unterschiedliche Sprache benutze. Und das ist enorm: Wenn du Deutsch schreibst, antwortet es auf Deutsch. Ohne dass das so eingestellt wäre. Genauso: Wenn du schreibst wie eine kluge Wissenschaftlerin, ist die Antwort sehr viel genauer und die Wörter sind natürlich andere. Wenn du mit tipflehern schreibst und alles kleinschreibst und jugendwörter benutzt und auch keine punkte oder kommata dann ist das ergebnis plötzlich ein anderes und kann häufiger ungenauer sein.
Und das hat dem Modell nie jemand gesagt, sondern das passiert einfach so automatisch. Und hat auch nichts mit der Intelligenz des Modells zu tun. Und deshalb kann man das auch nicht wirklich ändern.
Und das ist tatsächlich vor allem schlimm in Bezug auf Rassismus, weil die Modelle anhand verschiedener Wörter, die bestimmte ethnische Gruppen benutzen (also zB schwarze Afro-Amerikaner), dann auf einmal andere Ergebnisse ausspucken.