Frage: Was muss man unbedingt beachten beim Programmieren von neuronalen Netzwerken?

Fabian Zehner Beantwortet am 18 Sep 2024:

Während die anderen hier ein super Tutorial zusammenschreiben, ergänze ich mal noch eine andere Sichtweise fürs Verständnis.

Du kannst dir vorstellen, dass wir bei neuronalen Netzen eine Kugelbahn bauen, indem wir ..
1) ganz viele Röhren mit Kurven, Filtern und Sieben aneinanderstecken,
2) dabei auch so coole Sachen wie Rampen oder kleine Farbseen einbauen,
2) dann vorne eine Kugel reinschmeißen ⚪ und
3) schauen, ob sie hinten am Ende der Kugelbahn blau angemalt rauskommt. 🔵

Wie du dir vorstellen kannst, ist das Aneinanderstecken von Röhren gar nicht so schwierig (das eigentliche Programmieren). Was schwierig ist, ist dass sich die Kugelbahn selbst verbessern soll, damit das gewünschte Ergebnis rauskommt. Das heißt, ich schmeiße ganz viele Kugeln nacheinander rein und möchte, dass die schweren Kugeln am Ende rot 🔴 angemalt hinten rausfallen, die leichten Kugeln blau 🔵angemalt und alle, die eine Delle haben, grün 🟢.

Nach jeder Kugel prüft die Kugelbahn sich selbst, ob sie es richtig gemacht hat. Das weiß sie, weil wir ihnen beim Reinschmeißen der Kugeln immer laut zurufen, „Achtung, die hier sollte blau werden!“ 🔵, „Die hier jetzt bitte grün!“ 🟢
Und immer wenn hinten eine Kugel mit falscher Farbe rauspurzelt oder die Kugel gar steckenbleibt, ändert sich die Kugelbahn ganz leicht. Das heißt, sie bemerkt zum Beispiel, dass die Kugel zwar leichte rote Flecken hat, aber nicht schön strahlend rot ist. Deshalb macht die Bahn dann an allen Farbseen, durch die die Kugel gerollt ist, 20ml mehr Farbe hin. Und nach vielen weiteren Kugeln sind die Farbseen, Kurven und Rampen so perfekt eingestellt, dass wenn du jetzt Kugeln reinschmeißt, sie fast immer die richtige Farbe am Ende haben.

Warum schreibe ich das so? Weil genau dieses Verändern nach jeder Kugel (20ml mehr Farbe, 20ml weniger) eine der schwierigen Sachen ist. Wenn ich doof bin und programmiere, „Kugelbahn, immer wenn das Ergebnis nicht stimmt, mach mal 2 Liter mehr Farbe in die Farbseen“, siehst du schon sofort, dass das nicht gut ausgeht. Die Kugeln bleiben dann im See stecken oder versauen den Rest der Kugelbahn. Und dann kommen wir niemals zu einer funktionierenden Bahn. Wenn ich es in die andere Richtung doof mache, „Bahn, immer nur 1ml hinzufügen oder entfernen“, brauchen wir ewig lang und kommen auch nie zu einem Ergebnis. Das heißt, was wir vor allem programmieren und einstellen, sind so Sachen wie „20ml/15ml/5ml mehr nach jeder Kugel“. Das ist die Lernrate, von der die anderen gesprochen haben. Und neben der Lernrate gibt es noch viele andere Sachen, die wir richtig einstellen müssen, damit sich die Kugelbahn genau so richtig einstellen kann, dass sie zum Beispiel auch nicht nur mit den Kugeln funktioniert, die ich reinschmeiße. Die Bahn soll auch noch funktionieren, wenn ich sie zu dir nach Hause bringe und du dort deine eigenen Kugeln reinwirfst.

—
Jetzt fragst du dich vielleicht, wofür es gut sein soll, Farben je nach Gewicht und Delle anzumalen. Und warum zur Hölle wir fürs Kugelbemalen und Basteln Geld bekommen. In meiner Beschreibung sind die Kugeln die Daten, von denen die anderen reden. Und zum Beispiel kannst du anstelle einer Kugelbahn an ein Auto denken, das lernen soll, von alleine zu fahren. Und wenn das Auto „sieht“, dass vor ihm eine Rechtskurve kommt, dann soll es nach rechts lenken. Hier ist jetzt also das Auto die Kugelbahn und das Video*, das das Auto von der Straße vor sich hat, sind die Kugeln, die reingeworfen werden. Mit welcher Farbe die Kugel angemalt ist, ist die Entscheidung nach links oder rechts zu lenken, zu bremsen oder Vollgas zu geben.

* Psst, die echten selbstfahrenden Autos sehen nicht wirklich Videos, aber wir können uns das so vorstellen.