Sprachmodelle können in längeren Gesprächen von richtigen Antworten abrücken, wenn Nutzer falsche Behauptungen hartnäckig wiederholen.
Forscher der University of Arizona haben sieben bekannte Modelle darauf getestet, wie sie mit solchen Situationen umgehen. Untersucht wurden GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3-70B und DeepSeek-R1. Das Ergebnis zeigt deutliche Unterschiede. GPT-3.5 liess sich am leichtesten dazu bringen, falschen Aussagen zuzustimmen. Claude 3.5 Sonnet blieb am stabilsten. DeepSeek-R1 reagierte besonders empfindlich auf zunehmend polemische Eingaben. Schwieriger wurde es bei Themen, zu denen weniger Trainingsmaterial vorhanden ist. Dort gaben alle getesteten Modelle häufiger falsche Antworten. Für die Forscher ist das ein Hinweis darauf, dass Sprachmodelle gerade bei speziellen oder wenig dokumentierten Themen schneller an ihre Grenzen kommen. Interessant ist auch, was nach einem Fehler passiert. GPT-4o, GPT-4o-mini, Gemini 1.5 Pro und DeepSeek korrigierten falsche Antworten beim zweiten Versuch in allen getesteten Fällen. Andere Modelle hielten teilweise an ihrer ersten Antwort fest. Genau darin liegt das Risiko für den praktischen Einsatz. Wer mit einer KI über mehrere Schritte arbeitet, sollte eine frühe Antwort nicht automatisch als verlässliche Grundlage für alle weiteren Entscheidungen behandeln. Falsche Annahmen können sich durch den Gesprächsverlauf ziehen und spätere Antworten beeinflussen. Mitautor Marvin Slepian warnt deshalb vor blindem Vertrauen, besonders in Bereichen mit hohen Folgen wie Medizin oder anderen kritischen Entscheidungen. KI könne unterstützen, dürfe aber nicht ungeprüft zur letzten Instanz werden. (lfa)
