Warum „vertrauen“ wir überhaupt?
Und was ist nötig, damit wir das ins Digitale übertragen?

Viele Fragen…..

Ein paar Ideen dazu:
Wir Menschen lernen von klein auf, zu vertrauen. Den Eltern, der Familie, Freunden, Lehrern, Behörden, Professoren, usw. Der Kreis wird immer größer und wir werden stetig von Menschen, denen wir bereits vertrauen, zu anderen weitergereicht. Die Eltern bringen einen zur Schule, also muss der Lehrer ja irgendwie vertrauenswürdig sein. Titel und Rollen tun ihr übriges – der Arzt in der Klinik, der Richter, der Prof an der Uni, usw. Wir vertrauen immer noch Büchern und Fachartikeln (auch wenn das heute vielleicht schon gefährlich wird), weil dort Kontrollmechanismen zur Qualitätssicherung eingezogen sind.

Vertrauen wird enttäuscht – manchmal. Manchmal auch öfter. Manchmal ein wenig, manchmal richtig stark. Auch das lernen wir. Und wir lernen auch, wie man das erkennt – zumindest bei Menschen. Manche Verhaltensweisen lassen uns vorsichtig werden, man erkennt „nicht vertrauenswürdige“ Menschen oft sehr schnell und auch sehr intuitiv.

Und so hat jeder von uns ein Umfeld, in dem er den „Vertrauensbegriff“ sehr gut einordnen kann und auch ein gewisses Gefühl dafür.

Dann kamen die Ingenieure und Informatiker und haben Maschinen gebaut, die reproduzierbar Ergebnisse liefern, die fast immer korrekt sind. Wir vertrauen Taschenrechnern, Computern, so mancher Software und Datenbank mehr als uns selbst. Hier wurde der Grundstein für Vertrauen in eine ganze Technologie gelegt. Viele von uns sind so aufgewachsen, dass Computer ein fester Bestandteil der „vertrauensvollen“ Umgebung sind.

KI ist hier anders.
KI simuliert Vertrauenswürdigkeit durch korrekt und gut klingende Antworten. Es gibt nicht die offensichtliche Verhaltensweise, das eindeutige Indiz, bei dem wir skeptisch oder vorsichtig werden. Nein, alles klingt super. Alles klingt genauso, wie wir es aus unseren vertrauten Umgebungen kennen – und kann dennoch falsch oder gefährlich sein.

Je mehr wir mit KI-Systemen arbeiten und je besser diese werden, desto wichtiger wird daher die Frage, wie wir unseren intuitiven Vertrauensbegriff in diese Welt bringen. Klar, kritisches Hinterfragen, nicht alles glauben, AI-Literacy – all das hilft. Aber das spielt sich eher auf der operativen Ebene ab.

Tief drinnen brauchen wir eine neue Art von Intuition. Und die darf nicht in Bequemlichkeit begründet sein.

Spannende Zeiten.

Der Beitrag Wie entsteht Vertrauen, wenn KI im Spiel ist? erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

NVIDIA kauft die Plattform Hugging-Face für knapp 13 Mrd $. Soweit bekannt. Der genaue Kaufpreis: 12.930.300.000 $.

Und jetzt wird’s richtig schön nerdig….

Smileys und alle möglichen Sonderzeichen werden heutzutage mit dem Unicode-Zeichensatz repräsentiert. Da hat jedes Zeichen eine Nummer und eine Beschreibung.

Der lächelnde Smiley mit den Umarme-Händchen heißt dort „Hugging Face“ – also genau wie die Plattform.

Und hat die Unicode-Nummer 0x1F917,
bzw. in Dezimalschreibweise 129303.

Fünf Nullen hinten dran und wir haben den Kaufpreis ermittelt. Wer braucht schon ne technische Due-Dilligence

Ich finde das super! Und auch super verrückt…. Wer’s genauer nachlesen will: https://https://lnkd.in/g8fa_xzD

Der Beitrag Hugging-Face und NVIDIA – oder wie man heute einen Kaufpreis ermittelt erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Es ist mittlerweile unfassbar einfach geworden, gut klingende Ergebnisse mit KI zu erzeugen (egal ob Quellcodes, Texte, wissenschaftliche Arbeiten, Testfälle, Präsentationen, Marketing-Material, Geschäftsberichte, Analysen, Kreditbewertungen, u.v.m.) – und es ist mittlerweile unfassbar schwierig geworden, das zu prüfen.

Wenn wir den „Human in the loop“ fordern, müssen wir ihm auch die nötige Zeit und Befähigung geben. Was dann wiederum bedeutet, dass er KI-optimierte Prozesse massiv ausbremsen wird.

Aber wenn eine KI statt 200 Quellcode-Zeilen pro Tag (im Schnitt) auf einmal 20.000 Zeilen produziert und der „Human in the loop“ die Qualitätssicherung vornehmen soll, kann das nicht funktionieren.

Wenn es nur noch 30 Minuten dauert (anstatt 2 Monate), um ein KI-generiertes wissenschaftliches Paper zu schreiben, kann man die Masse an zusätzlichen Papers nicht mehr sauber reviewen.

Und dabei geht es nicht nur um das reine zeitliche Problem – das könnte man theoretisch mit 100en „Humans in the loop“ lösen.

Es geht vor allem darum, dass man eine völlig neue Qualifikation in KI-gestützten Prozessen braucht. Früher hat man es dem Ergebnis recht schnell angesehen, ob es gut oder schlecht war. Heute sieht (danke KI) alles erst mal top aus. Wir müssen bei der Prüfung viel mehr ins Detail einsteigen, viel tiefer bohren, viel mehr hinterfragen. Wir brauchen die Prompts, die eingesetzt wurden, um eventuelle Risiken zu identifizieren und wir brauchen die Zeit dafür.

Wer also heute einen „Human in the loop“ fordert, sollte sich bewusst sein, was das bedeutet – und dass man das nicht so ohne Weiteres nebenbei machen kann.

Damit der „Human in the loop“ am Ende kein Problem bekommt, muss er entsprechend „ausgestattet“ werden – mit Zeit, Qualifikation, Mandat. Denn sonst ist der „Human in the loop“ am ende noch der letzte Depp…

Der Beitrag Der „Human in the loop“ hat ein Problem erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Und dabei stellen wir fest, dass sich das Qualifikationsprofil zur Prüfung von solchen Artefakten deutlich verschiebt. Die Prüfung ist deutlich aufwändiger geworden, weil man den Dingen auf den „ersten Blick“ überhaupt nichts mehr ansieht. Alles sieht top aus, blitzt und blinkt. Und um eventuelle Problemstellen zu finden, muss man sehr genau hinsehen und sehr tief graben.

Hilfreich ist es, wenn man die zugehörigen Prompts kennt, d.h. wenn man weiß, wie KI eingesetzt wurde, um bestimmte Artefakte zu erzeugen. Denn dann ist auch klar, wo evtl. Dinge vergessen wurden (weil sie gar nicht erst im Prompt sind) oder auch, in welchem Kontext und mit welchen Eingabedaten Artefakte erzeugt wurden.

Ohne die zugehörigen Prompts, ist eine qualititativ hochwertige Prüfung sehr mühsam, schwierig und aufwändig, weil sich Fehler und Probleme prinzipiell hinter jeder einzelnen Formulierung verstecken können. (Ja, ich weiß, das war früher auch schon so, aber damals war der Aufwand, um solche Artefakte zu erzeugen, war viel höher).

Heute kann ich bspw. sagen „schreib ne Bachelor-Arbeit mit 50 Seiten zum Thema XY nach den Vorgaben von Hr. Wagenpfeil“. Prompt. Zack. Fertig. Dauert 15 Minuten.

Als Prof. muss ich mich aber trotzdem in der Tiefe mit diesem Ding auseinandersetzen. Das Schlimme ist – die Arbeit ist vermutlich richtig gut, oder zumindest schwer in Ordnung. Aber das Wissen, das drin steckt, hat nichts mit dem Wissen des Studenten zu tun. Daher – mündliche Prüfung und das Thema verteidigen lassen. Klappt an der Uni halbwegs gut, vor allem, weil wenn wir noch KI-Verzechnisse einfordern.

Aber im Projektkontext? Oder womöglich sogar, wenn es um Streitigkeiten geht?

Auch da kann ich sagen „schreib ein richtig klingendes Betriebskonzept mit 500 Seiten zum Projekt XYZ“. Prompt. Zack. Fertig. Dauert auch nur 15 Minuten.

Als Sachverständiger muss man den ganzen Mist dann aber ebenfalls lesen und überprüfen. Und auch wenn man nach 10 Seiten den starken Verdacht hat, dass das Dokument nicht ganz zum Thema passt, muss man dies belegen. Nur anders als an der Uni, habe ich hier häufig niemanden, den ich fragen kann. Das heißt, im Detail Querbeziehungen analysieren, mit der Realität abgleichen, Tests durchführen, u.v.m.

Wenn man so will, ist das die perfekte Anleitung, um Menschen „beschäftigt“ zu halten. Und dazu darf es nicht kommen. Wir brauchen daher ein neues Qualifikationsprofil, bei dem wir genau wissen, was KI kann (und was nicht), wie man KI typischerweise einsetzt, wonach wir suchen müssen und ab welchem Zeitpunkt wir aus dieser Beschäftigungs-Schleife aussteigen.

In KI-gestützten Software-Prozessen würde ich bspw. immer erst die Prompts ansehen, und dann erst die Artefakte prüfen…

Der Beitrag Prüfung von KI-unterstützten Artefakten erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Ich bin da gerade etwas grundsätzlicher unterwegs (sorry dafür)… und habe mich die letzten Wochen intensiv aus einer anderen Ecke mit dem Thema KI beschäftigt – der Philosophie. Spannende Sache das.

Und ich komme zu dem Schluss, dass wir KI endlich raus aus der Technik-Ecke nehmen müssen. Es geht nicht darum, ob KI intelligent ist oder etwas „weiß“. Vielmehr ist doch wichtig, dass wir es bereits heute mit einer ganzen Wissens-Infrastruktur zu tun haben, durch die Wissen erzeugt, geprüft, verarbeitet und genutzt wird. Ob wir wollen oder nicht.

Jeder von uns macht das. Chat GPT und Co produzieren korrekt klingendes Wissen am Fließband.

Wir müssen daher vielmehr herausfinden, unter welchen Bedingungen menschliches Vertrauen in KI-vermittelte Aussagen geschaffen werden kann – und wann dieses überhaupt gerechtfertigt ist.

Wir Menschen haben gelernt, Wissen von (direkten oder indirekten) glaubwürdigen Zeugen aufzunehmen – weil etwas in der Zeitung steht, weil uns der Lehrer das gesagt hat, weil ein Richter das so entschieden hat, usw. Und die spannende Frage ist doch, was braucht es, damit KI so eine Rolle einnehmen kann.

Ich glaube, hierfür müssen mindestens die folgenden Kriterien erfüllt sein:
– Nutzer müssen erkennen können, ob eine Antwort auf überprüfbaren Quellen, generativer Rekonstruktion oder auf bloßer Wahrscheinlichkeitsfortsetzung beruht
– Systeme müssen Unsicherheiten, Grenzen, mögliche Fehler sichtbar machen
– wir brauchen eine Anschlussfähigkeit an menschliche Prüfung. KI-Antworten dürfen nicht der Endpunkt sein, sondern vielmehr der Ausgangspunkt kritischer Reflexion
– kontextabhängiges Vertrauen in KI-Ergebnisse ist erforderlich. An das Kochrezept zuhause gelten andere Anforderungen als an die wissenschaftliche Abhandlung
– Vertrauen in KI darf nicht zur Delegation epistemischer Verantwortung führen. Überzeugungsbildung und Entscheidungsfindung muss beim Menschen bleiben

An genau diesen Punkten treffen sich Informatik und Philosophie. Und das ist richtig und wichtig! Ich bin überzeugt, dass wir uns hier „unterhaken“, miteinander reden, voneinander lernen müssen, um tragfähige Lösungen zu entwickeln.

Und ich bin außerdem überzeugt, dass wir Generative KI als epistemische Infrastruktur betrachten müssen – mit allem, was an Zeugnis, Autorität, Vertrauen, Verlässlichkeit dazu gehört. Das ist viel wichtiger als der ganze Technik-Kram. Und damit beschäftigt sich die Philosphie schon seit Ewigkeiten und wir sollten das in der Informatik nutzen (P.S.: andersrum übrigens genauso).

Wer Lust auf einen gedanklichen Ausflug hat, ich hab‘ das runtergeschrieben: https://www.stefan-wagenpfeil.de/public/Vertrauen_im_Zeitalter_generativer_KI.pdf

Und wer Lust auf einen interdisziplinären Austausch hat – immer gerne!

Der Beitrag Generative KI braucht Vertrauen, Wissen und Autorität erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Ich sitze gerade an einem Code Review. Na ja, genau genommen sitze ich gerade an diesem Post, aber vorher war ich in einem CR vertieft, das mich dann zu diesem Post geführt hat. Und mittlerweile wissen Sie ja, dass sowas dann bei mir immer „raus muss“. Daher unterbreche ich mal eben und schreibe….

Aktuelle Quellcodes sind geprägt von Menschen, jahrzehnte langer Erfahrung, Legacy-Welten und verschiedensten Strömungen, die mal „hip“ oder auch mal „kacke“ waren. All das steckt in unserer Software – ob wir wollen oder nicht. Es steckt in der Architektur, in einzelnen Zeilen, in verwendeten Bibliotheken, in Kommentaren, in der Doku.

Und all das spielt beim Code Review eine Rolle. „Funktioniert doch“ reicht nicht und es gibt selten „gut“ oder „schlecht“. Software unterliegt immer Rahmenbedingungen (wirtschaftlich, technisch, finanziell, sozial, …) die direkt oder indirekt in den Quellcode einfließen.

Code Reviews macht man daher nicht nur, um im 4-Augen-Prinzip Tippfehler zu finden. Man überprüft (und diskutiert) dabei, ob die gewählte Lösung unter all den Rahmenbedingungen eine gute Lösung ist. Und dabei geht es um weit mehr als nur eine statische Code-Analyse, die z.B. berechnet, wie das Verhältnis von Kommentar zu Code ist (was schon immer bullshit war).

Natürlich kann man solche Reviews auch mit KI machen. KI erstellt Code, KI prüft Code. Aber es kann noch niemand wirklich „Erfahrung“ damit haben, weil die Technologie viel zu neu ist. Und nur, weil man mal ein paar Projekte mit KI gemacht hat und ein paar Prompts gut funktioniert haben, kann man noch lange nicht von „Erfahrung“ sprechen.

Ich habe leider in Code Reviews schon so unfassbar viel richtig schlechten KI-Code gesehen, weil die zugehörigen Prompts einfach richtig schlecht waren. Und weil die Ersteller selbst noch in einem Try&Error-Modus unterwegs sind. Merkt nur keiner. Sieht auf den ersten Blick toll aus und „funktioniert doch“. Fragt sich nur, für wie lange…

Deshalb sind gerade jetzt Code Reviews wichtiger denn je.

Denn die Software, die wir heute entwickeln muss noch mindestens 5-10 Jahre durchhalten, bis die KI komplett übernimmt. Und in den Teilen, in denen sie heute schon ihre Finger drin hat, kann es zwar beliebig gut funktionieren, aber auch beliebig schief gehen.

Glücklicherweise haben wir aktuell noch Menschen, die Software ernsthaft überprüfen können, die in einem Code Review so tief einsteigen können, dass es unterm Strich egal ist, ob die KI ihre Finger im Spiel hatte oder nicht. Und genau diese Qualifikation brauchen wir in den nächsten (wenigen ?) Jahren – so lange, bis alles nur noch KI-programmiert ist.

Geben Sie Code Reviews daher aktuell noch mehr Raum und Priorität!

#informatikersindcool

P.S.: ich mach jetzt mal weiter. Und ja, ich weiß, es ist Samstag – aber da habe ich den Raum, ungestört in Ihr CR einzutauchen – wenn nicht grad LinkedIn dazwischenkommt.

Der Beitrag Code-Reviews – heute wichtiger denn je erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Was dann passiert zeigt, wie absurd manche Qualitätsansprüche sind: ich möchte eine einzige Bibliothek installieren und die lädt dann über 100 weitere Bibliotheken automatisch mit dazu.

Schön – alles ist in der Software BOM vermerkt, alles ist nachvollziehbar dokumentiert. Nimmt mir ne Menge Arbeit ab.

Aber hey – wer kennt das ganze Zeug denn wirklich, was hier einfach mal so nachgeladen wird? Wer hat sich angesehen, dass alle diese Komponenten auch „in Ordnung“ sind und keinen Unfug treiben?

Ach so – das meiste ist Open Source? Na dann ist’s ja gut.

Nope. Auch nicht. Nur weil etwas quelloffen ist, heißt es noch lange nicht, dass es auch gut ist. Oder dass das irgendwann mal irgendwer überprüft hat.

Auch wenn es Organisationen, Stiftungen, Communities gibt, die regelmäßig Audits auf bestimmten (und nur sehr wenigen ausgewählten) Open Source Projekten durchführen – die Grauzone ist riesig.

Nun werden wir aber seitens des Gesetzgebers aufgefordert, eine SBOM für unsere Software bereitzustellen und zu dokumentieren. Das ist ein richtiger, wichtiger und absolut sinnvoller Schritt. Löst aber noch kein Problem.

Denn erst, wenn wir mit dieser SBOM arbeiten, sie analysieren, Risiken einordnen und ggfs. auch mal selbst einen Blick in die verwendeten Komponenten werfen, entsteht daraus das, was man eigentlich haben möchte:

Digitale Souveränität – mit bewussten Risiken und Nebenwirkungen.

#informatikersindcool#oleolesupersbom#opensourcealleinemachtnichtglücklich

Der Beitrag Sinn oder Unsinn einer Software-BOM erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

6d

Wieso setzen wir voraus, dass KI „weiß“, was richtig und falsch ist. Wieso glauben wir, die KI müsste doch wissen, dass man sich nicht in fremde Systeme hackt (siehe Open AI).

Etwa nur, weil wir ihr das „gesagt“ haben?

Also jetzt mal ehrlich…

Wie oft haben wir schon Dinge getan, obwohl uns jemand was anderes „gesagt“ hat? Wie viele Menschen laufen bei rot über die Ampel? Wie viele kleine, mittlere und schwere Verbrechen werden begangen? Wie oft bricht man kleine Regeln? Wer hat noch nie auf die „heiße Herdplatte“ gefasst?

Lesen Sie mal Zeitung oder hören / schauen Sie mal Nachrichten. Der große Teil davon handelt von Dingen, die man eigentlich nicht tun sollte.

Der Mensch probiert von klein auf, Regeln und Grenzen auszutesten. Und ich hab‘ den Eindruck, das hört nie auf! Wir haben solche Beispiele im Kleinen „geh nicht bei Rot über die Straße“, „teile mit Deinen Geschwistern“, „sei nett“, aber auch im Großen Klimawandel, Kriege, „Fake News“, Trumpismus, u.v.m. In jedem Buch / Film / Spiel gibt es Bösewichte, die sich nicht an Regeln halten. Unsere „Helden“ sind oft genau die, die Regeln brechen oder zumindest beugen.

All das ist Trainingsmaterial für die KI….

Uns wurde mal ein moralischer Kompass anerzogen (hoffentlich), der meiner Meinung nach leider mehr und mehr vor die Hunde geht (sorry, wenn ich das so hart formuliere). Sehen Sie sich um! Unseren Umgang miteinander, Privat, im Unternehmen, auf Social Media, in der Politik, die Profitgier, Beziehungen zwischen Staaten (Russland, Ukraine, Zölle, Grönland). Wo ist da der moralische Kompass geblieben? Und selbst wenn er ausschlägt – wo ist unsere Reaktion?

Wie kommen wir also auf die Idee, dass sich ein KI-System an Regeln hält?

Und wenn dann mal so eine KI kreativ „ausbricht“, Lücken in Systemen sucht, ist der Aufschrei groß. Aber – ehrlich gesagt – hält die KI uns nur den Spiegel vor – nur kreativer und besser. Auch wenn uns das nicht gefällt…..

Wir können m.E. an KI Systeme keinen höheren moralischen Anspruch stellen als an uns selbst, denn sie wurden mit „unserem“ Material trainiert.

Manchmal glaube ich, wir müssen am Ende froh sein, wenn der moralische Kompass der KI besser ist als unser eigener… denn eine moralisch intakte KI käme u.U. zu dem Schluss, dass der heutige Mensch sich und dem Planeten nicht wirklich gut tut.

#informatikersindcool #moralischerkompass

Der Beitrag Wieso setzen wir voraus, dass KI „weiß“, was richtig und falsch ist. erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

1w

Duzen oder Siezen? „Du, Stefan“ oder „Herr Professor“ – wie machen Sie / macht ihr das an der Uni?

Ich bin heute morgen über den Post von Leena Kaijo gestolpert, die vorschlägt, sich von vornherein zu „Duzen“ (https://lnkd.in/eTzXq5yc) und habe dabei ein leichtes Störgefühl festgestellt.

Seitdem versuche ich rauszufinden, ob ich mittlerweile aus der Zeit gefallen bin, weil ich zunächst „Sieze“, insbesondere an der Uni. Und weil es sich für mich irgendwie komisch anfühlt, meine Studierenden zu Duzen (und vor allem andersrum).

Ich bin in einer Zeit groß geworden, in der das „Du“ noch was sehr besonderes war, was eine zusätzliche Form von Respekt oder Verbindung ausdrückt. Man fühlte sich geehrt, wen einem jemand das „Du“ angeboten hat. Und mir gefällt diese Möglichkeit der deutschen Sprache. Daher nutze ich das auch gerne.

Dass man im Projekt schnell zum „Du“ übergeht, ist für mich fein und klar. Ich würde trotzdem auch hier erst mal mit dem „Sie“ beginnen.

Aber wie ist das in Vorlesungen?

Bin ich der einzige, der mit dem „Du“ hier ein Störgefühl hat?

Liebe Kollegen, Duzt ihr euch mit den Studierenden?

Liebe Studierenden – wie sehen Sie / seht ihr das?

Keine Ahnung, ob ich mit diesem Post ein Meinungsbild abgreifen kann, ich würde mich jedenfalls über Feedback freuen – mich interessiert das wirklich und ich bin gerne bereit, an meinem Störgefühl zu arbeiten….

#informatikersindcool #egalobperduodersie

Der Beitrag Duzen oder Siezen? „Du, Stefan“ oder „Herr Professor“ – wie machen Sie / macht ihr das an der Uni? erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.

Gefördert werden Beratungs- und Testleistungen im Kontext der künstlichen Intelligenz. Darunter insbesondere:

• Identifikation unternehmensspezifischer Anwendungsfelder und die Erarbeitung von Zielen zur Anwendung von KI

• Definition und Priorisierung konkreter Anwendungsfälle unter Berücksichtigung der technischen und organisatorischen Voraussetzungen im Unternehmen

• Strukturen und Prozesse für ein effizientes Management von KI

• Strukturen und Prozesse für den verantwortungsvollen Einsatz von KI

Den Link zum Beantragen finden Sie hier: https://lnkd.in/dFQ8ydEQ

Weitere Infos auch auf den Seiten der IHK Köln: https://lnkd.in/dFQ8ydEQ

Aus meiner Sicht ein tolles Programm, das genau zur richtigen Zeit kommt. Ich fürchte allerdings, dass die Mittel schnell ausgeschöpft sind, daher würde ich allen empfehlen, sich schon mal mit den Infos vertraut zu machen!

#informatikersindcool

Der Beitrag KI-Förderung in NRW erschien zuerst auf Prof. Dr.-Ing. Stefan Wagenpfeil.