„Wie schreibt man Klausuren, wenn KI zugelassen ist“ (https://lnkd.in/eaXBDZDS) – hierzu gibt’s nun erste, belastbare Erkenntnisse:
Ich wiederhole jetzt nicht alles, was ich vor ein paar Wochen in o.g. Post geschrieben und dazu kommentiert habe. Aber: ich hab‘ dieses Semester Rechner, Handy, Internet und KI für verschiedene Klausuren zugelassen. Natürlich kein Multiple Choice und keine „klassische“ Klausur, sondern ein etwas aufwändigeres Klausur-Konzept, das die Fähigkeit mit abprüft, mit modernen Hilfsmitteln umzugehen – u.a. mit KI. Das Konzept gibt’s hier: https://lnkd.in/eCBdCt4U
Wie ist nun das Ergebnis (abgesehen von „spannend“):
Positiv:
• das Format erfüllt genau den Zweck: kritisches Hinterfragen von KI-Ergebnissen. Fast kein Studierender hat KI-Ergebnisse „stumpf“ übernommen
• die Einordnung der KI-Ergebnisse bezogen auf die Vorlesungsinhalte (insbesondere die Diskussionen) musste von den Studierenden „manuell“ vorgenommen werden. Daran erkennt man, ob jemand aufgepasst hat oder nicht
• die Widersprüche in den Fallbeispielen konnten von KI ohne in der Vorlesung gewesen zu sein tatsächlich nicht aufgelöst oder entschieden werden. Hier war die „Meinung / Einschätzung / Bewertung“ der Studierenden entscheidend
• die Studierenden hatten „Angst“, der KI auf den Leim zu gehen und viel Zeit in die Überprüfung gesteckt – genau so soll das sein
Negativ:
• das „Handling“ der Dokumente hat zu lange gedauert hat. Damit KI-basierte Klausuren Sinn machen, braucht es Material und der Download muss organisiert werden. Wir haben das daher so organisiert, dass das Material bereits vor der eigentlichen Klausur zum Download gestellt wird und dann lediglich die Klausurfragen verteilt werden.
• eine Längenbegrenzung der Antwort ist wichtig. Ich hatte das zwar bereits geschrieben und auch in den Fragen formuliert, musste aber nochmal drauf hinweisen. Sonst tendieren Studierende dazu, trotz KI-Nutzung Romane zu schreiben. Eine Antwortlänge von max 50 Wörtern pro Frage ist sinnvoll.
Für alle Beteiligten war das Neuland und auch eine gewisse Herausforderung. Insbesondere die Kollegen vom Prüfungsamt haben hier super unterstützt und sich drauf eingelassen – dafür ein herzliches Dankeschön an Jessica Dörries Alexander Schiller und das gesamte Team der PFH Private Hochschule Göttingen! Ohne euch wäre das nicht möglich gewesen.
Das ist auch eine wichtige Erkenntnis für alle, die das ausprobieren wollen – ihr braucht ein gutes Team, das mitzieht!
Die Noten? Ich habe bei einem Fach einen Bonus mit eingerechnet, da der Download der Unterlagen zu lange gedauert hat. Die anderen Ergebnisse liegen im üblichen Bereich.
Der entscheidende Punkt ist aber: die Studierenden haben damit unter Beweis gestellt, dass sie sehr komplexe Aufgaben mit Hilfe von KI in einem spezifischen Fach bewältigen können.
Und darauf kommt’s an. Im Studium und im Job!