Digitale Souveränität und der Betrieb von KI-Modellen. Na bravo. Und gleich vorneweg: ich möchte hier auf gar keinen Fall einen „Glaubenskrieg“ lostreten, wie Windows vs. Linux oder (seinerzeit) Netscape vs. Internet Explorer.
Aber – es gibt eine Reihe von Überlegungen, mit denen man sich heutzutage einfach mal beschäftigen muss. Und dazu gehören nun mal lokale Modelle.
Das sind vortrainierte KI-Modelle, die auf Ihrer eigenen Hardware laufen. Dazu braucht es eine vernünftige Grafikkarte, eines von (unfassbar) vielen Modellen (es gibt auch Chat GPT) und ein klein Wenig Software-Setup. Und schon können Sie Ihr eigenes Sprachmodell abgeschottet in Ihrem Unternehmen laufen lassen. Die Datenverarbeitung erfolgt ausschließlich auf diesem Rechner, selbst Internetzugang ist nicht nötig. Damit können Sie auch hochkritische Daten mit Hilfe von Sprachmodellen bearbeiten. Es lassen sich bspw. mittels RAG Ordner mit 1000en Dokumenten in das Modell integrieren – ein großer Vorteil.
Aber: Lokale Modelle sind Snapshots. D.h. die darin enthaltenen Informationen werden nicht mehr. Sie laden quasi ein Modell zum Stand X herunter und reichern dieses lediglich durch Ihre eigenen Dateien und Daten an. Darüber hinaus lernt das Modell in der Regel nicht dazu und muss daher regelmäßig aktualisiert werden. Aufbau, Betrieb, Wartung und ggfs. auch Fehlersuche liegt bei Ihnen. Wenn irgendwas nicht funktioniert, müssen Sie selbst ran.
Im Vergleich dazu sind Cloud-Lösungen wie Chat GPT immer aktuell (quasi in Echtzeit), Sie müssen sich nicht um den Betrieb kümmern und können trotzdem Ihre Dateien hochladen. Hier sind Sie selbst allerdings verpflichtet, immer DSGVO-konform zu arbeiten und auch keine sonstigen vertraulichen (Unternehmens-)Daten hochzuladen. Selbst bei der Nutzung von Microsoft Copilot im Unternehmens-Kontext ist (noch) nicht 100% garantiert, dass keine Daten Ihren Tenant verlassen. Zwar soll das alles anonymisiert laufen, allerdings stellt sich technisch die Frage, wie und ob das überhaupt umsetzbar ist.
Hinzu kommt der US Cloud Act (Clarifying Lawful Overseas Use of Data Act), der U.S. Unternehmen verpflichtet, auf Anordnung Daten rauszugeben. D.h. im Zweifel würde Microsoft Ihre Daten an die U.S. Regierung geben. Da ist die DSGVO dann auch schon Wurscht.
Um dieses Problem zu lösen (falls Sie es für sich als Relevant erachten), gäbe es noch europäische Modelle, wie bspw. das Sprachmodell von Mistral aus Frankreich.
Tja. Und was mach’mer jetzt damit?
Einordnen, verstehen, entscheiden.
Ich selbst nutze bspw. Cloud-basierte Sprachmodelle zur Recherche und ein lokal installiertes Modell zur Verarbeitung von Dokumenten, die ich nicht rausgeben möchte. Bei vielen Unternehmen läuft das derzeit ähnlich.
Wichtig ist hier: eine bewusste Entscheidung für oder gegen den Einsatz bestimmter Technologien. Und ja, es gibt hier sehr viele Stellschrauben, die jeder für sich unterschiedlich bewerten kann.