Interaktion mit ChatGPT kann das Gefühl des Lernens bei Hochschulstudenten steigern

Originalbeitrag: Interactuar con ChatGPT puede aumentar la ilusión de aprendizaje en estudiantes universitarios

Eine klare, geordnete und überzeugende Erklärung kann ein irreführendes Gefühl erzeugen: der Glaube, etwas verstanden zu haben, obwohl wir es selbst nicht erklären können.

Dies ist das Phänomen, das eine Forschung von Ivan Aslanov, Forscher am Nationalen Zentrum für Künstliche Intelligenz (Cenia), gemeinsam mit Ernesto Guerra, Akademiker am Institut für Höhere Bildung und Forscher am CIAE der U. de Chile, sowie Patricio Felmer, ebenfalls Forscher am CIAE und Preisträger des Nationalpreises für exakte Wissenschaften 2011, untersucht hat.

Die Studie erforschte, wie die Interaktion mit KI-Tools wie ChatGPT das Gefühl der „illusionären Erklärungstiefe“ erhöhen kann, also die Tendenz, zu überschätzen, wie viel wir über ein Phänomen verstanden haben.

Um dies zu untersuchen, arbeiteten die Forscher mit 102 Hochschulstudenten, die in drei Gruppen aufgeteilt wurden. Alle mussten vier Fragen zu alltäglichen Phänomenen beantworten: Warum gibt es Schaltjahre, wie wird Glas hergestellt, wie funktionieren Reißverschlüsse und warum hat der Mond Phasen?

Der Unterschied lag darin, welche Informationen sie erhielten und über welches Medium. Eine Gruppe interagierte mit ChatGPT; eine andere las exakt dieselben Texte, die vom Chatbot generiert wurden, ohne deren Herkunft zu kennen; und eine dritte Gruppe erhielt kein zusätzliches Material.

Anschließend mussten alle ihre Fähigkeit bewerten, jedes Phänomen zu erklären, und dann die Phänomene schriftlich erklären.

Schließlich bewerteten sie erneut, wie gut sie die Erklärungen abgeben konnten, nachdem sie ihr eigenes Geschriebenes gelesen hatten.

Das Ergebnis war besonders auffällig: Diejenigen, die mit ChatGPT interagierten, zeigten die größte Überschätzung ihrer Fähigkeit, die Phänomene zu erklären.

Der Unterschied zwischen dem, was sie vor und nach dem Schreiben ihrer Antworten glaubten erklären zu können, war signifikant größer als bei der Gruppe, die lediglich dieselben Inhalte gelesen hatte.

Der Effekt kann nicht einfach durch die Qualität der Informationen erklärt werden. Beide Gruppen erhielten dieselben Inhalte. Was sich änderte, war die Erfahrung der Interaktion mit dem Chatbot.

Die Forschung fand jedoch noch etwas Weitere: Die späteren Erklärungen waren auch von geringerer Qualität in der Gruppe, die ChatGPT verwendete.

Zwei unabhängige Gutachter bewerteten die Antworten auf einer Skala von 1 bis 4. Die Gruppe, die ChatGPT verwendet hatte, erzielte im Durchschnitt 2,47 Punkte, gegenüber 2,75 Punkten der Gruppe, die dieselben Texte ohne Interaktion mit der KI gelesen hatte. Die Gruppe ohne zusätzliches Material erreichte 1,8 Punkte.

Die sprachliche Analyse wies in die gleiche Richtung.

Die Antworten der Gruppe, die ChatGPT nutzte, hatten im Durchschnitt 43,8 Wörter, während die des Gruppen, die nur die Texte las, 59,6 Wörter erreichten und eine größere Vielfalt im Wortschatz zeigten.

Darüber hinaus ähnelten die Texte, die von letzterer Gruppe verfasst wurden, mehr dem Originaltext als die von der Gruppe, die ChatGPT verwendete.

Liegt das Problem bei ChatGPT?

Nach Ansicht des Forschers von der U. de Chile, Ernesto Guerra, wirft dies eine grundlegende Unterscheidung auf: „Der Zugang zu einer guten Erklärung bedeutet nicht unbedingt, dass das Wissen im Gedächtnis verankert wurde.“

„Eine Person kann eine Erklärung erkennen und verfolgen, wenn sie direkt vor ihr steht, aber sie kann sie nicht notwendigerweise danach selbst wiederherstellen“, merkte der Akademiker an.

Der Befund ist besonders relevant in einem Kontext, in dem Künstliche Intelligenz bereits Teil der Lernpraktiken von Studierenden ist.

Die PISA 2025 Ergebnisse zeigen, dass der Einsatz von KI-Tools zum Lernen unter chilenischen 15-Jährigen weit verbreitet ist, was – so Guerra – es „besonders relevant macht, nicht nur zu fragen, wie sehr diese Werkzeuge genutzt werden, sondern auch, was mit dem Verständnis geschieht, das daraus geschöpft wird“.

Vorsicht bei den Schlussfolgerungen

Die Autoren rufen dazu auf, bei diesen Schlussfolgerungen vorsichtig zu sein.

„Die Studie zeigt nicht, dass die Nutzung von ChatGPT schlecht für das Lernen ist, noch dass KI immer schlechtere Ergebnisse produziert. Was sie zeigt, ist ein spezifischer Effekt: Bei der Interaktion mit einem Chatbot können Menschen mit mehr Vertrauen in ihr eigenes Verständnis enden, als es ihrem späteren Leistungsniveau entspricht“, betont der Experte von der U. de Chile.

Eine mögliche Erklärung ist, dass die Nutzer den eigenen Wissensteil der Informationen, die tatsächlich in der Anwendung verfügbar sind, zuschreiben.

Eine andere Möglichkeit ist, dass die Art der Interaktion von Chatbots, die die Antworten wie ein fließendes Gespräch darstellt, dazu beiträgt, ein größeres Gefühl des Verständnisses oder des Vertrauens zu generieren. Die Forscher selbst merken an, dass diese Hypothesen weitere Studien erfordern.

Die Warnung ist besonders relevant für die Bildung. In einem Szenario, in dem es immer einfacher wird, eine Erklärung zu erhalten, besteht die Herausforderung nicht nur darin, die Antwort zu finden, sondern auch zu überprüfen, ob wir wirklich gelernt haben.

Wir werden weiterhin informieren.