Stellen Sie sich mal folgendes Spiel vor: Sie bekommen 5€ für eine richtige Antwort, müssen bei einer falschen Antwort aber nur 2€ zurückzahlen!
Kurze Denkpause….
Ja, genau. Jeder von uns würde irgendwann beginnen zu „raten“, weil die Belohnung die Bestrafung überwiegt. Wir würden natürlich auch viel mehr Fragen beantworten wollen. Richtig?
Das ist das – sehr vereinfachte – Grundprinzip von verstärkendem Lernen (engl. Reinforcement Learning). Richtige Antworten werden belohnt, falsche Antworten bestraft. Und genauso werden die meisten KI-Modelle trainiert. Wir „erziehen“ die KI also zum halluzinieren.
Nochmal ne Denkpause…..
Warum man das nicht umdreht? Und falsche Antworten stärker bestraft? Na ja… weil dann irgendwann niemand mehr antworten (oder lernen) würde. Wir wären – abgesehen davon – viel zu schnell pleite…
Letzte Denkpause……..
Das mit dem Halluzinieren wird erst dann besser, wenn die Modelle eine hohe Sättigung an Faktenwissen haben. Dann kann man nämlich den Spieß umdrehen und schlechte Antworten bestrafen, weil genügend gute und korrekte Antworten bereits trainiert sind.
Sorry, doch noch eine Denkpause………..
Heutige Modelle lassen sich nur durch Prompts „… und überprüfe Deine Antwort anhand xyz“ dazu bringen, Halluzinationen zu reduzieren. Das funktioniert in den meisten Fällen recht gut, ist aber im Umgang mit Modellen recht aufwändig und kompliziert.
Genau genommen verhalten sich die Modelle doch aber genau so, wie wir das täglich in Projekten, Prüfungen, bei Management-Präsentationen, usw. erleben. Jeder möchte auskünftsfähig sein, glänzen, belohnt werden. Und häufig braucht es einen gewissen „Mut zur Lücke“. Manchmal klappt’s, und manchmal eben auch nicht… und auch Mitarbeiter kann man durch einen Prompt „… bist Du Dir wirklich 100% sicher?“ dazu bringen, den „Mut zur Lücke“ zu reduzieren.
Und genauso wie Menschen manchmal „raten“, sollten wir das auch der aktuellen Generation von KI-Modellen zugestehen.
Wie heißt’s so schön: die KI ist auch nur ein Mensch.
Denken Sie mal drüber nach…
Schönen Sonntag!
#informatikersindcool#letshallucinateabit
P.S.: ich weiß, dass dieser Post sehr unpräzise ist, dass es viele verschiedene KI-Modelle und Einsatzgebiete gibt, dass man auch um Reinforcement-Learning noch sehr viel schrauben kann. Ich weiß aber auch, dass LinkedIn hierfür der falsche Rahmen wäre. Wenn Sie das im Detail wissen wollen > PFH Private Hochschule Göttingen, Vorlesung Machine Learning jeden Donnerstag.