-
Frage gestellt bank28fry am 27 Sep 2024.
Frage: Wie kann eine KI auf erlerntes Wissen zurückgreifen?
- Stichworte:
-
Karsten Weber Beantwortet am 27 Sep 2024:
Das weiß man tatsächlich gar nicht so genau. Man darf sich auf jeden Fall nicht vorstellen, dass bspw. ChatCPT all die Texte, mit dem es trainiert wurde, im Original abgespeichert hätte und bei Anfragen diese durchsucht. In neuronalen Netzen werden keine Bilder oder Texte gespeichert, sondern im Grunde Wahrscheinlichkeiten darüber, welche Wörter bspw. nach einer bestimmten Wortkette folgen muss. Daraus werden dann neue Texte generiert. Das macht es so schwierig zu wissen, ob KI-Systeme richtig trainiert wurden, denn wenn wir uns das anschauen, was KI-Systeme gelernt haben, würden Menschen das nicht verstehen können.
-
Fabian Zehner Beantwortet am 27 Sep 2024: last edited 27 Sep 2024 11:43 am
Indem es die Muster verwendet, die es in diesem Wissen gefunden hat.
Was heißt das? Du hast vllt. irgendwann mal gelernt, einen Ball zu fangen. Wahrscheinlich hast du es nie gelernt, in einem fast dunklen Raum und mit dem Rücken in Richtung Ball zu machen. Das sind zwei verschiedene Dinge, aber du kannst aus dem, was du schon kannst, genug Ähnliches rausziehen (das sind die Muster), um es am Ende doch zu schaffen: Schätzen, wo der Ball hinkommt, Arme in Richtung dieser Stelle, Hände offen, mit Händen zupacken. Diese Muster (also Ähnlichkeiten über verschiedenste Situationen) ist das, was in den Modellen abgespeichert ist.
Ein etwas neueres Thema ist Retrieval Augmented Generation (RAG). Dabei können die Modelle auf andere (auch Wissens-)Quellen zugreifen, um ihre Ausgaben anzureichern, _ohne_ dass sie darauf vorher trainiert worden wären.
-
Clarissa Elisabeth Hohenwalde Beantwortet am 27 Sep 2024:
Zu Retrieval Augmented Generation (RAG):
Ich bin der Meinung, dass diese Technik zur Wissensanreicherung zunehmend an Bedeutung gewinnt, insbesondere bei KIs, die speziell auf Fragen zu einer bestimmten Schule oder einem Unternehmen ausgerichtet sind. In solchen Fällen spielt der Datenschutz eine zentrale Rolle. So sollten Schüler*innen beispielsweise wissen, ob der Mathematikunterricht ausfällt, während externe Personen keinen Zugriff auf diese Informationen haben dürfen.
Um eine solche Schul-KI zu entwickeln, ist es sinnvoll, bereits bestehende Sprachmodelle zu verwenden, die sehr gut darin sind, Antworten zu formulieren. Diese Modelle besitzen jedoch nicht das spezifische Wissen über beispielsweise den aktuellen Stundenplan oder Vertretungsunterricht. Hier kommen interne Datenbanken der Schule ins Spiel. Die KI greift auf diese Daten zu, um gezielt Informationen abzurufen, die für die Anfrage relevant sind. Diese Infos wandelt sie dann in verständliche, zusammenhängende Texte um. Zusätzlich kann sie ihr allgemeines Wissen einfließen lassen, um die Antwort zu ergänzen.
Kommentare