Wie gut kann eine KI Chemieaufgaben wirklich bewerten? Diese Seite fasst die zentralen Ergebnisse unserer aktuellen Studie verständlich zusammen.
In Schule und Hochschule fallen mehr Aufgaben an, als Lehrkräfte im Detail korrigieren können. Chemie.KI untersucht, ob und wie eine Künstliche Intelligenz (KI) diese Lücke schließen kann – und vergleicht dazu systematisch die Bewertungsqualität von Mensch und Maschine. Die folgenden Abschnitte fassen das Vorgehen und die ersten Resultate aus einer im Fachjournal CHEMKON veröffentlichten Studie zusammen.
Aktuelle Sprachmodelle (etwa GPT-5.4, Claude 4.7 oder Gemini 3) können lange Texte auswerten, Begründungen einordnen und typische Fehlvorstellungen erkennen – zum Beispiel zur Elektronegativität oder zur Redoxchemie. Was ihnen fehlt, ist selten chemisches Fachwissen, sondern didaktische Erfahrung: Wie viele Punkte verdient eine Antwort, die im Kern richtig, aber unvollständig begründet ist? Wo ist eine sprachliche Ungenauigkeit noch tolerierbar?
In einem einfachen Vorversuch wurde genau das deutlich: Dieselbe Schülerantwort wurde demselben KI-Modell mehrfach zur Bewertung vorgelegt – mit demselben Bewertungsschema. Die Ergebnisse schwankten zwischen 2, 4 und sogar 6 von 5 möglichen Punkten. Ohne gezielte Vorbereitung ist ein Sprachmodell für die Bewertung schulischer Antworten also schlicht nicht zuverlässig genug.
Chemie.KI begegnet diesem Problem mit einer Kombination aus zwei Maßnahmen:
Jede Anfrage an die KI beschreibt exakt die Aufgabe, das Bewertungsschema mit den einzelnen Kriterien und das gewünschte Ausgabeformat. Die KI vergibt zunächst Teilpunkte pro Kriterium und summiert diese erst danach – das reduziert Willkür und macht die Bewertung nachvollziehbar statt einer "Black Box".
Zusätzlich wird für jede Frage ein eigenes KI-Modell mit realen, von Lehrkräften bewerteten Schülerantworten trainiert – im Schnitt rund 130 Beispiele pro Frage. Dabei lernt das Modell auch von unvollständigen, sprachlich unsauberen oder fachlich fehlerhaften Antworten, wie sie im echten Unterricht vorkommen.
Ein einfacher Punktevergleich reicht nicht aus: Zwei Bewerter:innen können im Mittel exakt gleich liegen, obwohl sie im Einzelfall komplett unterschiedlich urteilen. Deshalb nutzt die Studie ein etabliertes statistisches Maß, Cohen's gewichtetes Kappa (κW). Es prüft für jeden einzelnen Fall, wie stark eine Bewertung von einem zuvor durch mehrere Expert:innen festgelegten "Goldstandard" abweicht – kleine Abweichungen fallen kaum ins Gewicht, große dagegen deutlich.
Als grobe Orientierung gilt in der Forschung:
Grundlage sind 6.351 bewertete Datensätze aus sieben Themenfeldern (u. a. Aggregatzustände, Redoxchemie, Säure-Base, zwischenmolekulare Wechselwirkungen) mit insgesamt 33 Fragen. Verglichen wurden vier "Bewerter:innen": ein untrainiertes KI-Modell, ein nur minimal trainiertes Modell (15 Beispiele pro Frage), ein intensiv trainiertes Modell (Ø 130 Beispiele pro Frage) und menschliche Lehrkräfte – jeweils gegen den Goldstandard.
| Bewerter:in | Gesamt | AFB I | AFB II | AFB III |
|---|---|---|---|---|
| Untrainiertes KI-Modell | 0,602 | 0,580 | 0,595 | 0,662 |
| Minimal trainiertes KI-Modell | 0,576 | 0,635 | 0,587 | 0,433 |
| Trainiertes KI-Modell | 0,834 | 0,872 | 0,835 | 0,812 |
| Mensch | 0,899 | 0,922 | 0,906 | 0,829 |
κW-Übereinstimmung mit dem Goldstandard, gesamt und nach Anforderungsbereich (AFB I–III). Quelle: Wilke (2026), Tab. 3.
Drei Dinge fallen auf: Erstens verbessert intensives Finetuning die KI-Bewertung deutlich – von einer moderaten auf eine sehr gute Übereinstimmung. Zweitens hilft ein Training mit nur 15 Beispielen kaum und kann bei anspruchsvollen Aufgaben (AFB III) sogar schaden, weil das Modell sich an zu wenigen, möglicherweise unrepräsentativen Beispielen "festbeißt". Drittens bleiben menschliche Lehrkräfte die genauesten Bewerter:innen, aber der Abstand zur trainierten KI ist inzwischen überschaubar – besonders bei anspruchsvollen Aufgaben (AFB III) liegen Mensch und KI nah beieinander.
Ein intensiv trainiertes Modell erreicht noch nicht ganz die Bewertungsqualität einer menschlichen Lehrkraft, kommt ihr aber deutlich näher als ein ungeschultes Sprachmodell. In Kombination mit ständiger Verfügbarkeit und Bewertungsgeschwindigkeit (im Schnitt wenige Sekunden pro Antwort) ergeben sich damit realistische Einsatzmöglichkeiten für den Schulalltag – etwa als schnelle Ersteinschätzung, Diagnostik für die ganze Klasse oder Entlastung bei Routineaufgaben.
Diese Seite fasst die Ergebnisse einer wissenschaftlichen Publikation vereinfacht zusammen. Die vollständige, peer-reviewte Fassung mit allen Methodendetails, weiteren Kennzahlen und der Literaturliste ist frei zugänglich.
Die Studie zeigt, dass Finetuning funktioniert – sie macht aber auch seine Grenzen sichtbar. Weil für jede einzelne Frage ein eigenes Modell trainiert werden muss, entstehen vier praktische Nachteile:
Der aktuelle Forschungsprozess baut auf diesen Erkenntnissen auf und arbeitet statt mit trainierten Modellen mit Bewertungspaketen: einer ausführlichen, aufgabenspezifischen Bewertungsanleitung aus Musterlösung, operationalisierten Kriterien, Teilpunkt- und Grenzfallregeln sowie Kalibrierungsbeispielen. Sie wird dem Modell bei jeder Bewertung mitgegeben, statt in seine Gewichte trainiert zu werden. Damit lässt sich jede beliebige Frage aus dem Chemieunterricht fundiert bewerten – auch eine, die erst gestern entstanden ist. Das Paket bleibt für Lehrkräfte lesbar und korrigierbar und funktioniert unabhängig davon, welches Modell gerade das beste ist.
In Probeanalysen halten die Bewertungspakete die Qualität der feinjustierten Modelle – teilweise übertreffen sie diese sogar. Diese Ergebnisse sind vorläufig und noch nicht begutachtet; die systematische Auswertung läuft.