Student wird durch neues Turnitin-Erkennungstool fälschlicherweise des KI-Betrugs beschuldigt

Von Miles Klee

Louise Stivers hat ihre Hausaufgaben schon immer per Software überprüfen lassen.

Stivers, ein 21-jähriger Politikwissenschaftsstudent aus Santa Barbara, der kurz vor seinem Abschluss an der University of California in Davis steht und plant, ein Jurastudium zu besuchen, wuchs in einer Zeit auf, in der von Studenten erwartet wird, dass sie schriftliche Aufgaben mithilfe von Anti-Plagiats-Tools wie einreichen Turnitin. Pädagogen verlassen sich auf diese Dienste, um Texte zu bewerten und alle zu kennzeichnen, die scheinbar aus vorhandenen Quellen kopiert wurden, und sie ist dabei nie in Konflikt geraten. Aber auch Schulleitungen sind heutzutage auf der Suche nach Aufgaben, die mit generativer KI gelöst werden können. So geriet Stivers in Schwierigkeiten – obwohl sie nicht betrogen hatte.

„Ich bin fast ausgeflippt“, erzählt sie dem Rolling Stone.

Stunden nachdem sie im April einen Aufsatz für einen ihrer Vorlesungen hochgeladen hatte (es war eine kurze Zusammenfassung eines Falles vor dem Obersten Gerichtshof), erhielt Stivers eine E-Mail von ihrem Professor, in der sie darauf hinwies, dass Turnitin einen Teil davon als von KI verfasst gekennzeichnet hatte. Ihr Fall war bereits an das Büro für Studentenunterstützung und Justizangelegenheiten der Universität weitergeleitet worden, das für Disziplinarmaßnahmen bei akademischem Fehlverhalten zuständig ist. Stivers war verblüfft und gestresst, musste aber gleich danach an einem Quiz für eine andere Klasse teilnehmen. Dann begann sie, Beweise dafür zu sammeln, dass sie den Brief selbst geschrieben hatte.

„Es war auf jeden Fall sehr demotivierend“, sagt Stivers über die Anschuldigung, die sich zu einem bürokratischen Albtraum entwickelte, der mehr als zwei Wochen andauerte, während sie versuchte, ihren Namen reinzuwaschen. Von ihr wurde erwartet, dass sie die strengen Betrugsrichtlinien der Schule durchschaut und ihre Arbeit offiziell verteidigt, ohne dass sie institutionelle Unterstützung erhält und den üblichen Belastungen des Abschlussjahres ausgesetzt ist. Sie nennt dies eine „riesige Zeitverschwendung“, die man hätte „mit Hausaufgaben und dem Lernen für die Zwischenprüfungen“ verbringen können. Aufgrund dieser gespaltenen Konzentration, sagt sie, begannen ihre Noten zu sinken.

Stivers steht mit einer solchen Tortur nicht alleine da, denn Schüler, Lehrer und Bildungseinrichtungen kämpfen mit der revolutionären Kraft künstlich intelligenter Sprach-Bots, die menschliches Schreiben überzeugend nachahmen. Letzten Monat verwendete ein texanischer Professor fälschlicherweise ChatGPT, um zu beurteilen, ob Studenten eine Aufgabe mit dieser Software abgeschlossen hatten. Es wurde behauptet, jeden von ihm eingereichten Aufsatz selbst geschrieben zu haben – deshalb hielt er vorübergehend die Abschlussnoten einer ganzen Klasse zurück.

Tatsächlich erfuhr Stivers, dass sie nicht einmal die erste Studentin der UC Davis war, die mit einer falschen Anschuldigung des KI-Betrugs zu kämpfen hatte. Tage bevor sie erfuhr, dass sie einer akademischen Integritätsprüfung unterzogen werden würde, veröffentlichte USA Today einen Artikel über William Quarterman, einen Oberstufenstudenten und Geschichtsstudenten am College. Ein Professor hatte seine Prüfungsantworten durch eine KI-Erkennung namens GPTZero laufen lassen, die ein positives Ergebnis lieferte. Der Professor gab Quarterman die Note „nicht bestanden“ und verwies ihn an dasselbe Büro für Studentenangelegenheiten, das über Stivers‘ Fall entscheiden würde. Stivers erfuhr bald von der Notlage ihrer Klassenkameradin. „Sein Vater konnte ihm helfen“, sagt sie, und die beiden wiederum gaben ihr „viele Ratschläge und erklärten ihr auch irgendwie, wie die Schulpolitik in dieser Hinsicht funktioniert.“

Trotzdem fühlte es sich einschüchternd hoch an. In der ersten „sehr langen“ E-Mail, die Stivers erhielt, wurde erklärt, wann sie Gelegenheit haben würde, ihre Seite der Geschichte in einem persönlichen Zoom-Gespräch mit einem Administrator zu erzählen, aber es fehlten Einzelheiten zum Überprüfungsprozess oder was genau sie musste sich vorbereiten. Es hieß auch, sie könne bei dem Anruf einen Anwalt anwesend haben, was sie beunruhigte. Im Großen und Ganzen tappte sie „im Dunkeln“ darüber, was sie tun sollte, ganz zu schweigen von der Verwirrung über die möglichen Konsequenzen dieser Bewertung.

„Ich war in den letzten beiden Quartalen bereits sehr ausgebrannt“, sagt Stivers. „Und wenn man sich für ein Jurastudium bewirbt, steht man unter großem Druck, seinen Notendurchschnitt zu halten. Ja, es macht einfach keinen Spaß, sich während des Unterrichts mit den komplizierten akademischen Integritätsrichtlinien der Schule auseinandersetzen zu müssen.“ Tatsächlich wurde es so etwas wie zusätzliche, besonders stressige Hausaufgaben.

Als sie mit dem Fakultätsmoderator sprach, der ihren Fall beurteilte, erfuhr Stivers, dass das KI-Erkennungstool von Turnitin tatsächlich brandneu war und dass UC Davis sich einen „frühen Zugriff“ auf die Software gesichert hatte. Turnitin bewirbt dieses Produkt mit einer Genauigkeit von 98 Prozent, räumt jedoch in seinen Materialien ein „geringes Risiko falsch positiver Ergebnisse“ ein. Das Unternehmen betont, dass es nicht für die Feststellung von Fehlverhalten verantwortlich sei. Stattdessen „stellen sie den Pädagogen Daten zur Verfügung, damit sie eine fundierte Entscheidung treffen können.“

In einer Erklärung gegenüber dem Rolling Stone ermutigte Annie Chechitelli, Chief Product Officer bei Turnitin, Stivers, sich mit Feedback zur Software in Verbindung zu setzen, und sagte: „Diese Informationen sind für uns sehr hilfreich, da wir unsere Erkennungsfähigkeiten weiter verfeinern und weiterentwickeln.“ Chichitelli fügte hinzu: „In jedem Fall entscheiden Lehrkräfte und Lehrkräfte, ob das, was sie in den ihnen präsentierten Informationen sehen, weitere Aufmerksamkeit erfordert.“

Am Ende konnte Stivers beweisen, dass sie nicht gegen die Regeln der Universität verstoßen hatte, indem sie der Justizabteilung sorgfältige „Schritt-für-Schritt-Anleitungen zum Öffnen von Google Docs und zum Überprüfen des Verlaufs“ übermittelt hatte. Diese Zeitstempel zeigten, dass sie die Arbeit selbst geschrieben hatte.

Stivers weist jedoch darauf hin, dass sie den Vorwurf des Betrugs während des Bewerbungsverfahrens den juristischen Fakultäten selbst melden muss. Staatliche Anwaltskammern, sagt sie, stellen bekanntermaßen ähnliche Fragen zur akademischen Geschichte, was bedeutet, dass dieses Missverständnis sie jahrelang begleiten könnte. Tatsächlich rät US News & World Report Bewerbern von Jurastudiengängen und Staatsanwälten, „auf der Seite der Offenlegung zu stehen“ und alle „Disziplinarverfahren an ihrer Hochschule“ proaktiv zu melden, in der Annahme, dass diese bei Hintergrundüberprüfungen auftauchen könnten. Und sie sagt, die Entscheidung zu ihren Gunsten sei gefallen, ohne dass sich ihr Professor oder die Hochschule selbst entschuldigt oder den Fehler anerkannt hätten.

In einer Erklärung gegenüber dem Rolling Stone erklärte das Office of Student Support and Judicial Affairs der UC Davis, dass das Family Educational Rights and Privacy Act es ihnen verbietet, sich zu einzelnen Studentenfällen zu äußern. Die Abteilung bestätigte jedoch die jüngsten Aktualisierungen ihrer Richtlinien zur Bewältigung des sich entwickelnden Problems der künstlichen Intelligenz und plant „eine Herbstkampagne, um das Bewusstsein für KI und akademisches Verhalten zu schärfen, Gespräche zwischen Studierenden und Dozenten anzuregen und einen Leitfaden für Studierende bereitzustellen.“ Was das neue KI-Erkennungstool Turnitin betrifft, so evaluiert das Büro „weiterhin dessen Nützlichkeit, ohne sich auf dieses oder eine andere Methode zu verlassen“, und stützt sich dabei auf „eine Vielzahl von Tools sowie auf unsere eigene Analyse der Arbeit des Studenten“. Entscheidungen über Fehlverhalten treffen.

„Natürlich werden es die Leute nutzen, die Studierenden werden es nutzen, die Professoren werden es nutzen“, sagt Stivers über Tools wie ChatGPT, die ihrer Meinung nach Pädagogen „paranoid“ in Bezug auf KI-Betrug gemacht haben. „Aber ich denke, sie müssen einfach vorsichtiger damit umgehen.“ Stivers sagt, dass die Plagiatserkennung und die KI-Erkennung von Turnitin hinsichtlich der Funktionalität deutlich voneinander abweichen, obwohl Professoren die Ergebnisse möglicherweise als gleichermaßen zuverlässig betrachten. In ihrer Erklärung wies Chechitelli darauf hin, dass das KI-Erkennungstool Ergebnisse mit einem „Indikatorwert“ liefert, der den Prozentsatz an Nicht-Originaltext in einem Dokument angibt, ähnlich dem, was Pädagogen mit ihrem Plagiatserkennungstool erhalten. Allerdings basieren die Ergebnisse auf der KI-Seite „auf Statistiken und nicht auf einem Vergleich mit Quelldokumenten“.

Vincent Conitzer, Direktor des Foundations of Cooperative AI Lab an der Carnegie Mellon University und Leiter des technischen KI-Engagements am Institute for Ethics in AI der Universität Oxford, erläutert diesen entscheidenden Unterschied.

„Für Plagiate gibt es automatisierte Tools, um sie zu erkennen, und es kann Grauzonen geben, in denen nicht ganz klar ist, ob der Student wirklich betrogen hat“, sagt er. „Aber in diesem Fall ist es für Dozenten und andere Universitätsmitarbeiter einfach, die Beweise direkt zu bewerten“, indem sie die Sprache eines Studenten mit der Quelle abgleichen, aus der er kopiert hat. Im Gegensatz dazu sagt er: „Wenn ein Tool lediglich behauptet, dass ein Textfragment von der KI generiert wurde, aber keine Beweise vorliegen, die von Dozenten oder Universitätsmitarbeitern interpretiert werden können, müssten sie ein sehr hohes Maß an Vertrauen in das Tool selbst haben.“ den Schüler beschuldigen. Er stellt die Frage, wie viel Vertrauen man in Zahlen wie die „98-prozentige“ Genauigkeitsrate von Turnitin setzen sollte, insbesondere wenn man interne Tests mit der Anwendung im Klassenzimmer vergleicht.

„Und das wirkliche Leben kann noch chaotischer sein“, sagt Conitzer und beschreibt Szenarien, in denen Schüler „den ersten Entwurf selbst schreiben, dann aber ChatGPT bitten, Möglichkeiten zur Verbesserung des Schreibens zu finden, oder umgekehrt ChatGPT bitten, einen ersten Entwurf zu schreiben und ihn dann selbst umzuschreiben“. oder eine Kombination aus beidem.“ Solche Unvermeidlichkeiten verdeutlichen seiner Meinung nach die Notwendigkeit klarer und durchsetzbarer akademischer Richtlinien. „Generell dürfte es sich weiterhin um ein Wettrüsten handeln“, schließt er.

Und da Professoren und Schulen es immer ernster nehmen, gegen KI-Betrüger vorzugehen (wobei sie möglicherweise die Wirksamkeit von Erkennungssoftware überschätzen), geraten immer mehr Studenten wie Stivers ins Kreuzfeuer und ihr akademisches Leben wird auf den Kopf gestellt. Nicht einmal die Tatsache ihrer eigenen Unschuld reichte aus, um sie zu beruhigen, während sie auf eine Disziplinarentscheidung wartete.

„Ich wusste, dass ich nicht betrogen habe“, sagt Stivers. „Aber gleichzeitig meinte ich: ‚Nun, ich weiß nicht hundertprozentig, ob sie mir tatsächlich glauben werden.‘“

Aktualisieren,7. Juni, 12:50 Uhr:Diese Geschichte wurde aktualisiert und enthält nun einen Kommentar des Büros für Studentenunterstützung und Justizangelegenheiten der UC Davis.