-
Frage gestellt duty28fry am 27 Sep 2024.
Frage: Wie garantiert man Zuverlässigkeit, Genauigkeit und Sicherheit eines KI-Systems?
- Stichworte:
-
Daniel Braun Beantwortet am 27 Sep 2024:
Das ist eine sehr gute Frage. Das Problem ist: Zumindest bei KI-Systemen die auf maschinellem Lernen basieren, also die auf Daten trainiert werden, kann man das nicht wirklich garantieren. Für ChatGPT und ähnliche KIen können wir nicht mal verlässlich messen wie genau und zuverlässig solche Systeme sind. Das geht immer nur Stichprobenartig.
Trotzdem gibt es natürlich einige Dinge die man tun kann um die Systeme in diesen Aspekten besser zu machen. Mit am wichtigsten ist die Auswahl der Daten mit denen ein System trainiert wird. Wenn schon in den Daten mit denen das System trainiert wird falsche Dinge stehen, dann wird das System selbst auch falsche Dinge produzieren.
Was die Sicherheit angeht gibt es bei kommerziellen Systemen häufig einfach noch eine zusätzliche Schicht die kontrolliert was als Frage an das System geht oder als Antwort aus dem System kommt und dort nochmal versucht Dinge zu filtern die unter Umständen für die Nutzenden gefährlich sind.
-
Karsten Weber Beantwortet am 27 Sep 2024:
Wie schon von Daniel Braun gesagt: Datenqualität ist ziemlich zentral. Aber auch die Wahl der Lernverfahren kann Einfluss auf Zuverlässigkeit, Genauigkeit und Sicherheit haben.
-
Clarissa Elisabeth Hohenwalde Beantwortet am 27 Sep 2024: last edited 27 Sep 2024 6:36 pm
Neben den schon angesprochenen Möglichkeiten ist es auch wichtig, das fertige KI-System ausführlich zu testen. Was passiert z.B. wenn Nutzer*innen nach einer Anleitung zum Bau einer Atombombe fragen? Treten rassistische Antworten auf? Wie leicht kann das KI-System gehackt werden? Wenn man beim Testen Probleme findet, muss man nachbessern, z.B. indem man mehrere KI-Systeme verbindet. Das könnte dann so aussehen, dass die Antwort des Chatbots nochmal von einer Sicherheits-KI geprüft wird, bevor sie an dich gesendet wird.
Wichtig ist auch, dass wir verstehen, wie ein KI-System zu seinen Antworten kommt und welche Faktoren für die Antwort wichtig waren. Das nennt man algorithmische Transparenz bzw. Erklärbarkeit (explainable ai). Noch ist es schwierig, große Sprachmodelle erklärbar zu machen, aber die Forschung arbeitet daran.
Zuletzt muss man auch den Nutzenden von KI-Systemen klar machen, dass eine KI nicht perfekt ist und falsche Antworten liefern kann. Bei ChatGPT gibt es z.B. unter dem Textfeld immer den Hinweis: „ChatGPT kann Fehler machen. Überprüfe wichtige Informationen.“
Kommentare