Wie stellt man Klausuren, wenn KI zugelassen ist?
Bevor jetzt jemand sagt „am besten gar nicht, Teufelszeug, usw.“ – Sie wissen, dass ich mich seit einiger Zeit viel damit beschäftige, wie wir KI so in die Lehre (und Prüfungen) integrieren, dass Studierende das nicht als „Schummeln“, sondern als „Future Skill“ begreifen.
Dafür habe ich dieses Semester schon alle Vorlesungen umgestellt – mehr Transfer, mehr inverted classroom, mehr Denken, weniger Faktenwissen auswendig lernen. Und ich habe von Anfang an zugesagt, KI bei den Klausuren zuzulassen.
(Hintergrund: an der PFH Private Hochschule Göttingen ist KI generell erlaubt und erwünscht, und wir gewichten mündliche und persönliche Prüfungen auch deutlich höher als schriftliche Einsendeaufgaben).
Der nächste Schritt ist nun also: echte Klausuren mit KI-Unterstützung. Also nicht nur „Open Book“, sondern Open Book mit Internet und KI – so, wie das später im Job eben auch ist. Und wir bringen Studierenden doch schließlich auch keine Inhalte bei, um sie zu quälen (also, das hoffe ich zumindest), sondern damit sie die Skills lernen, die sie brauchen, um im künftigen Arbeitsmarkt zu bestehen…. verstehen, hinterfragen, einordnen, denken!
Und das hat mich – ehrlich gesagt – die letzten Tage ziemlich auf Trab gehalten. Ich habe Klausurfragen entworfen und dann mit drei verschiedenen KI’s getestet. Die Fragen verworfen, neue Ansätze ausprobiert, mit Kollegen diskutiert und experimentiert. Dabei selber viel über Lern- und Prüfungstheorien gelernt und bin – noch ehrlicher gesagt – verdammt oft auf die Nase gefallen!
Aber es gab auch eine Menge Durchbrüche und Dinge, die besser und besser funktioniert haben. Und so bin ich mittlerweile bei einer Drei-Ebenen-Architektur für Klausurfragen angelangt, die
1) aus einem umfangreichen Fallbeispiel besteht – ca. 20 Seiten, also ein kleiner Stresstest während der Klausur. Das Fallbeispiel ist ohne KI nicht im Rahmen der Zeit „klein“ zu kriegen, d.h. Studierende müssen schon mal die richtigen Fragen stellen
2) eingebaute Widersprüche enthält – ist nur durch echtes Lesen der von KI identifizierten Passagen mit Hintergrundwissen aus der Vorlesung erkennbar
3) das Ergebnis ganz klassisch auf Papier erwartet (ist auch prüfungsrechtlich einfacher). Hier müssen bestimmte Notationen, Diagramme, usw. aus der Analyse erzeugt werden.
In Summe führt das dazu, dass bislang keine KI in der gegebenen Zeit eine perfekte Lösung erzeugen konnte, wenn man nicht mitdenkt, steuert, korrigiert. Wenn man also mehr „weiß“ / verstanden hat als die KI – und genau das hoffe ich für / von meinen Studierenden.
Wer sich dafür interessiert: ich hab‘ meine gesammelten Erkenntnisse in einem ersten Methoden-Dokument festgehalten, das ich gerne teile (https://lnkd.in/ehZuuz8s)
#informatikersindcool #kibeiklausuren
P.S.: Feedback, Vorschläge, Verbesserungen immer gerne. Gemeinsam geht’s schneller und wird besser!