Eine aktuelle Studie von Forschenden der Friedrich-Schiller-Universit?t Jena untersucht, wie leistungsstark moderne KI-Modelle wie etwa GPT-4 in der Chemie sind und wie sie im Vergleich zu menschlichen Fachleuten abschneiden. Mithilfe eines neu entwickelten Prüfverfahrens namens ?ChemBench" konnte das Team um Dr. Kevin M. Jablonka zeigen, dass KI-Modelle in bestimmten Aufgabenfeldern überzeugen, jedoch auch deutliche Schw?chen aufweisen. Das berichtet das Team im Fachjournal ?Nature Chemistry“.

?Die M?glichkeiten künstlicher Intelligenz in der Chemie sto?en zunehmend auf Interesse – daher wollten wir herausfinden, wie gut diese Modelle wirklich sind“, erkl?rt Jablonka, Leiter der Carl-Zeiss-Stiftungs ? -Nachwuchsgruppe ?Polymere in Energieanwendungen" an der Friedrich-Schiller-Universit?t Jena und dem Helmholtz-Institut für Polymere in Energieanwendungen (HIPOLE) Jena. Im Zentrum der Untersuchung stand ?ChemBench", ein von den Forschenden entwickeltes Werkzeug, das mit den F?higkeiten von Chemikerinnen und Chemikern verglichen wurde.?

Mehr als 2.700 Aufgaben im Vergleich zwischen Mensch und Maschine

Um die F?higkeiten der KI zu testen, entwickelte das Team der Universit?t Jena ein spezielles Prüfverfahren, das reale, in der modernen Chemie anfallende Aufgaben nutzt. Mehr als 2.700 Fragen aus verschiedenen Bereichen der Chemie – von organischer bis analytischer Chemie – wurden in das Werkzeug ?ChemBench“ integriert. Sie decken sowohl Grundlagenwissen als auch anspruchsvolle Problemstellungen ab und orientieren sich an typischen Lehrpl?nen in der Chemie. Die Leistung der KI-Modelle wurde dabei mit der von 19 erfahrenen Fachleuten verglichen, die dieselben Aufgaben bearbeiteten.

W?hrend die Menschen für einen Teil der Studie Hilfsmittel wie Google oder chemische Programme nutzen durften, mussten die KI-Modelle ohne solche externen Ressourcen auskommen. ?Die Modelle konnten ihr Wissen also ausschlie?lich aus dem Training mit vorhandenen Daten ziehen“, erl?utert Jablonka. ?Wir haben zus?tzlich auch zwei KI-Agenten mit Zugriff auf externe Tools getestet – diese konnten allerdings nicht mit den besten Modellen mithalten“, erg?nzt der Chemiker. Neben der Richtigkeit der Antworten bewerteten die Forschenden auch, wie gut die KI ihre eigene Antwortsicherheit einsch?tzte.

KI ist schneller und effizienter, Menschen sind reflektierter und selbstkritischer

Die Ergebnisse der Untersuchung zeigen ein gemischtes Bild, berichtet Jablonka: ?Bei sogar sehr anspruchsvollen lehrbuchartigen Fragen zeigten sich einige KI-Modelle als leistungsst?rker als Menschen.“ W?hrend die Chemikerinnen und Chemiker in manchen F?llen jedoch offen zugaben, eine Frage nicht sicher beantworten zu k?nnen, zeigten die besten KI-Modelle eine gegens?tzliche Tendenz: Sie gaben oft mit gro?er Selbstsicherheit Antworten – selbst, wenn diese inhaltlich falsch waren.

?Fehlerhafte Antworten mit hoher ?berzeugung k?nnen zu Problemen führen“

?Besonders auff?llig war dies bei Fragen zur Interpretation chemischer Strukturen, etwa zur Vorhersage von NMR-Spektren“, stellt Jablonka fest. Hier schienen die Modelle klare Antworten zu liefern, auch wenn sie teilweise grundlegende Fehler machten. Die menschlichen Fachleute hingegen z?gerten h?ufiger und hinterfragten ihre eigenen Schlussfolgerungen. ?Diese Diskrepanz ist ein entscheidender Faktor für die praktische Anwendbarkeit von KI in der Chemie“, ordnet Jablonka ein, denn: ?Ein Modell, das fehlerhafte Antworten mit hoher ?berzeugung liefert, kann in sensiblen Bereichen der Forschung zu Problemen führen.“

?Unsere Forschung zeigt, dass KI eine wichtige Erg?nzung für menschliche Expertise sein kann – nicht als Ersatz, sondern als wertvolles Werkzeug, das in der Arbeit unterstützt“, resümiert Kevin Jablonka. ?Damit legt unsere Studie den Grundstein für eine engere Zusammenarbeit von KI und menschlicher Expertise in der Chemie.“