Welche Probleme traten/treten oft bei der Entwicklung auf?

Frage: Welche Probleme traten/treten oft bei der Entwicklung auf?
- Stichworte:
  Entwicklung,
  Forschung,
  Herausforderungen,
  KI,
  Problem
Frage gestellt free28cap am 1 Okt 2024.
- Karsten Weber Beantwortet am 1 Okt 2024:
  
  Oft hat man nicht die richtigen Daten in der richtigen Qualität, um seine KI-Systeme gut trainieren zu können.
- Annegret Janzso Beantwortet am 1 Okt 2024:
  
  Über- und Untertrainieren ist auch ein Problem, auf das man standardmäßig achten muss. Wenn man ein KI-Modell trainiert, ist es often nicht direkt so gut wie es sein soll. Wenn das Modell übertrainiert wurde, kann es also passieren dass es Outputs liefert, die sehr nah an den Trainingsdaten sind, und nicht weiter generiert wurden, und auch nicht mit unbekannten Daten umgehen kann. Wenn das Modell untertrainiert ist, hat es nicht genügend Informationen, um einen sinnvollen Output zu generieren, solange man nicht einen Input gibt, der sehr nah an den Trainingsdaten ist. Das ist jetzt sehr vereinfacht erklärt, aber das ist ein sehr häufiges Problem was inzwischen einfach als ein Teil der Entwicklung betrachtet wird.
- Valerie Vaquet Beantwortet am 1 Okt 2024:
  
  Schlechte Datenqualität kann nicht nur dazu führen dass das Model nicht so gut funktioniert sondern auch für Unfairness sorgen.
  Wenn man komplexe Modelle auswählt, sind diese zwar oft gut in der Aufgabe aber es ist selbst für WissenschaftlerInnen nicht mehr verständlich warum eine Entscheidung getroffen wurde (Erklärbarkeit).
  Oft gibt es auch Probleme mit Robustheit zB Adversarial Attacks und Modelle werden sehr schlecht, wenn sich die Daten ändern.
- Sabrina Frohn Beantwortet am 1 Okt 2024:
  
  Ich kann meinen Kolleg:innen nur zustimmen. Was auch ein Problem sein kann ist die Computing ‚Power‘, die man zur Verfügung hat. Nur ein Laptop kann nicht so viel wie ein Rechencluster, also ein Zusammenschluss von der Rechenleistung von Computern. Firmen mit viel Geld haben in der Regel auch (Zugang zu) größere Computercluster, die Unis nicht unbedingt haben. Das kann heißen, dass man Modelle nutzen muss, die kleiner sind, oder Modelle, die schon von Firmen vortrainiert wurden.
- Clarissa Elisabeth Hohenwalde Beantwortet am 1 Okt 2024:
  
  Zusätzlich kann ich noch ergänzen, dass auf technischer Ebene der Faktor Rechenleistung eine wichtige Rolle spielt. Um moderne KI-Modelle zu trainieren, braucht man unglaublich viele Computer, die mit spezialisierten Computerchips ausgestattet sind. Diese Chips sind wahnsinnig teuer: Ein KI-Chip der Marke Nvidia kostet z.B. über 30.000 Dollar. Für den Bau eines großen Sprachmodells braucht man tausende bis hunderttausende solcher Chips, d.h. man muss ein Vermögen ausgeben, um überhaupt mit der Entwicklung starten zu können.