Zahlen wirken objektiv. Sind sie aber nicht. Die Recherche einer Kollegin zeigt, wie fragwürdige Statistiken sich zu medialen Wahrheiten entwickeln – und warum KI das Problem verschärfen wird.

Von Stefan Brunn

Wenn sich die Zahl der Spielsüchtigen in Deutschland innerhalb von fünf Jahren versechsfacht hat, dann stimmt etwas nicht. Entweder an den Tatsachen – oder an den Zahlen. Die Redakteurin Kathi Preppner stellt dieses Beispiel ins Zentrum eines lesenswerten Artikels im Branchenmagazin „Journalist“. Sie zeigt darin, wie eine anders gewählte Umfragemethode die Zahlen im Glücksspielatlas Deutschland massiv verändert hat: von 200.000 auf 1,3 Millionen Betroffene. Viel schockierender aber ist, wie diese offenbar manipulierbaren Zahlen sich in der Öffentlichkeit ungeprüft verbreiten.

Falsche Zahlen auf 350 Websites – und keiner korrigiert sie
Dass dieser Fall nicht isoliert steht, sondern symptomatisch für den journalistischen (aber nicht nur diesen) Umgang mit Zahlen ist, demonstriert Preppner an einem noch drastischeren Beispiel: 385 Millionen Menschen sollen sich demnach jährlich mit Pestiziden vergiften, 11.000 sterben daran. Diese Zahlen stammen aus einer Schätzung von 2020, die der Wissenschaftsverlag Springer Nature später zurückzog – methodisch unhaltbar. Nachdem die Heinrich-Böll-Stiftung sie 2022 in ihrem Pestizidatlas zitierte, griffen viele Medien sie dennoch auf. Nun waren die Zahlen nicht mehr aus dem Netz zu kriegen. Preppner berichtet, dass sie weiterhin auf 350 Websites zu finden seien – von Tagesschau.de über die ZEIT bis zum Guardian. Mehr als zwei Dutzend Redaktionen seien angeschrieben worden, kaum jemand habe sich korrigiert. Und jetzt reproduzierten auch noch KI-Chatbots diese falschen Zahlen.

Die Lehre daraus: Das Zwei-Quellen-Prinzip ist tot
Früher lernten Journalisten, dass man keine Tatsache verbreitet, ohne mindestens zwei seriöse unabhängige Quellen nachweisen zu können. Das hilft längst nicht mehr, weil im Internet alle alles remixen – und KI künftig noch viel mehr und intransparenter. Eine skeptische Grundhaltung gegenüber Zahlen ist unabdingbar, auch bei seriösen Organisationen. Wichtig ist, die eigene Skepsis mitzutransportieren. Und manchmal, wenn Zahlen verdächtig erscheinen oder sich einfach nicht erhärten lassen, gilt der einfachste Rat: weglassen.

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Unser Arbeitsgedächtnis hat beim Textverstehen nur sehr begrenzte Kapazitäten: 16 Wörter pro Satz gelten als Obergrenze. Wir erklären, woher diese Zahl stammt und inwiefern Satzzeichen wie Kommata oder Doppelpunkte das Textverstehen beeinflussen.

Von Stefan Brunn

Texten kann man dann am besten folgen, wenn ihre Gedanken einer nach dem anderen leicht konsumiert werden können. „Fluid information“ heißt es in der Psychologie, wenn man den Infos live folgen kann – ohne Störungen, Unterbrechungen, Zurückspulen. Dabei stößt unser Arbeitsgedächtnis schnell an seine Grenzen: Mehr als 16 Wörter pro sinnvoll gebautem Satz lassen sich kaum gleichzeitig verarbeiten. Diese Zahl stammt aus speziellen Studien zum Textverstehen. Forscher (wie hier etwa Andreas Liebl von der Universität Eichstätt) haben sich dazu experimentell angeschaut, wie viele Wörter aufgenommen und verstanden werden. Und sie zeigen auch, wie sich diese Menge verändert, wenn die Wörter in einem Satz bzw. einem inhaltlichen Kontext stehen. Während es viel Forschung dazu gibt, wie viele Wörter man sich isoliert merken kann (etwa Katze, ächz, Datum, gähnen, sardonisch …), existieren viel weniger Erkenntnisse dazu, wie viele Wörter in einem Satz man noch sinnvoll wahrnehmen kann. Schade!

Natürlich hängt eine solche Grenze nicht nur von der reinen Wortzahl ab, sondern auch von Bedeutung und Struktur. Ein linearer 16-Wort-Satz mit vertrauten Wörtern wird natürlich besser vom Gehirn verarbeitet als ein verschachteltes 16-Wort-Gebilde voller Fachbegriffe. Das erklärt, warum auch ein Satz mit 20 einfachen Wörtern leicht verdaulich sein kann, während man manch anderen mit nur 10, aber dafür schwierigen Wörtern gedanklich kaum runterkriegt. Kurze Sätze allein sind also kein Allheilmittel für Texte. Und die Satzlänge von 16 Wörtern ist nur ein Richtwert.

Und dann wären da noch die Satzzeichen. Sie können Orientierung geben und für einen guten Rhythmus sorgen. Wir nutzen sie idealerweise, um Informationen zu kleineren Portionen zu verarbeiten und gleichzeitig keinen Stakkato-Stil zu bekommen. Für die einzelnen Satzzeichen gelten aber unterschiedliche Regeln:

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Schikoree oder Tschips? Eine dieser Schreibweisen stand tatsächlich mal im Duden, bis sie dann irgendwann wieder gestrichen wurde. Unser Quiz zeigt, welche skurrilen Varianten es tatsächlich mal in den Duden geschafft haben – und welche wir Ihnen nur untergejubelt haben.

Von Hannah Molderings

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Neue KI-Sprachmodelle werben damit, immer größere Mengen an Informationen verarbeiten zu können. Um das zu testen, wird gern der sogenannte Nadel-im-Heuhaufen-Test gemacht. Wir zeigen, wie er funktioniert und dass er bei längeren Texten dann doch versagt.

Von Katrin Liffers

Fast im Wochentakt erscheinen neue KI-Modelle, die sich gegenseitig an Größe, Schnelligkeit oder Präzision übertreffen wollen. Besonders häufig fällt dabei das Schlagwort Kontextfenster. Es beschreibt – grob gesagt – die Menge an Informationen, die ein Modell berücksichtigen kann. Vergleichbar ist das mit dem Arbeitsgedächtnis beim Menschen.

Die Größe dieses Fensters wird in Token angegeben. Während vor drei Jahren ein Kontextfenster von 16.000 Token als groß galt, versprechen neue Modelle von OpenAI oder Google inzwischen 200.000 bis 1.000.000 Token. Dabei entsteht leicht der Eindruck: Ganz gleich, ob ein Satz am Anfang oder am Ende eines Dokuments steht – das Modell verarbeitet ihn mit der gleichen Sorgfalt.

Der Nadel-im-Heuhaufen-Test
Genau das soll der Nadel-im-Heuhaufen-Test überprüfen. Die Idee: Man versteckt eine „Nadel“ – also eine eindeutige Information – in einem sehr langen Text („Heuhaufen“) und fragt das Modell danach. Kann es die Info zuverlässig wiedergeben, gilt das als Beweis, dass es mit langen Kontexten umgehen kann.

Wo der Test an seine Grenzen stößt
Das klingt zunächst plausibel. Doch unsere Erfahrungen mit langen Texten und neuere wissenschaftliche Untersuchungen zeigen: Dieser Test misst nur eine sehr einfache Fähigkeit – das Erkennen exakter Wortübereinstimmungen. Für solche Aufgaben würde aber ja meist sogar ein simpler Suchalgorithmus reichen.

In der Praxis aber erwarten wir von einer KI mehr: Da wollen wir zum Beispiel alle Textstellen finden, die sich mit einem bestimmten Thema befassen, oder wir wollen einen langen Text zusammenfassen lassen, ohne dass wichtige Inhalte verloren gehen. Und ob das möglich ist, belegt der Nadel-im-Heuhaufen-Test nicht.

Andere Tests, andere Ergebnisse
Tatsächlich zeigen neuere Studien, dass die Leistung vieler Modelle mit zunehmender Kontextlänge sinkt – und zwar deutlich vor dem eigentlichen Limit des Kontextfensters. Eine brandneue Untersuchung weist nach, dass die Modelle beim semantischen Suchen (also dem Erkennen inhaltlicher Zusammenhänge) weit schlechter abschneiden als beim reinen Wort-Matching. Eine andere Studie kommt zu dem Ergebnis, dass Sprachmodelle umso weniger zuverlässig zwischen relevanten und irrelevanten Inhalten unterscheiden können, je länger der Kontext wird.

Fazit
Der Nadel-im-Heuhaufen-Test liefert einen zwar einfachen, aber sehr eingeschränkten Blick auf die Fähigkeiten von KI-Modellen. Wer wirklich wissen will, wie gut sie mit langen Kontexten umgehen, muss ausführlichere Tests vornehmen – und sollte gegenüber vollmundigen Marketingversprechen skeptisch sein.

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Der Konjunktiv II ist für viele ein unbezwingbarer Gipfel im Grammatik-Gebirge. Wir liefern jetzt die richtige Ausrüstung, indem wir klären, wann man den K2 überhaupt braucht.

Von Katrin Liffers

Der Konjunktiv II gehört nicht zu den beliebtesten sprachlichen Formen der deutschen Sprache 😉 Das liegt vor allem daran, dass vielen nicht klar ist, wann man ihn überhaupt verwenden muss. Wir weisen deshalb in drei Etappen einen sicheren Weg:

Mit dieser Ausrüstung fällt Ihnen die nächste Tour zum Konjunktiv-Gipfel hoffentlich leichter. Das Wichtigste sind Ausdauer und Übung!

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Zwischen Copy & Paste lauert leider oft das Formatierungs-Chaos. Unser neues Tool schafft hier einfach und kostenlos Abhilfe: Die Textwaschmaschine entfernt selbst hartnäckige Formatierungen und poliert sogar die Typografie.

Von Katrin Liffers

Mal eben einen Text von einem Layout ins andere überführen, ohne dass einem die komplette Formatierung zerschossen wird: der Traum aller, die mit Texten zu tun haben. Viele Textverarbeitungsprogramme bieten diese Funktion an – wirklich klappen tut es aber in den seltensten Fällen. Regelmäßig muss man doch noch Schriftarten und -größen angleichen, Umbrüche entfernen und die Textausrichtung anpassen.

Wenn wir auf Nummer sicher gehen wollten, haben wir deshalb in der Vergangenheit auf Microsofts guten alten Text-Editor zurückgegriffen: Den Text einmal in die Software eingefügt und schon sind alle ursprünglichen Formatierungen verschwunden. Seit dem letzten Update des Text-Editors besitzt allerdings auch dieses Programm einige Textformatierungsoptionen, sodass der Trick nicht mehr so einfach klappt. Also haben wir nach einer neuen Lösung gesucht.

Gefunden haben wir allerdings keine – und deshalb eine eigene Lösung für diese Alltagsaufgabe programmiert: unsere Textwaschmaschine. Mit nur einem einzigen Waschgang bereinigt sie alle Texte, die man in die Trommel steckt.

Die Textwaschmaschine …
• vereinheitlicht Schriftart und -größe,
• setzt alles in linksbündigen Flattersatz,
• entfernt Hervorhebungen (fett, kursiv, unterstrichen),
• löscht Absatzeinzüge, Abstände, Linien sowie Tabellenfragmente und
• entfernt Bilder.

Und weil wir schon einmal dabei waren, haben wir unsere Maschine direkt mit ein paar zusätzlichen Waschgängen ausgestattet, die uns die Textarbeit erleichtern: Die Textwaschmaschine wandelt falsche Anführungszeichen in typografisch korrekte Anführungszeichen um, ersetzt zu kurze Gedankenstriche durch richtige und reduziert doppelte Leerzeichen auf einfache.

Was noch fehlt: dass die Texte stilistisch besser duften. Am Lenor der Rhetorik arbeiten wir noch. 😉

Ausprobieren kann man die Textwaschmaschine übrigens direkt hier oder auf textwaschmaschine.imkis.de:

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

In einer Kleinstadt am Niederrhein kandidiert aktuell ein AfD-Politiker namens „Führer“ für das Bürgermeisteramt. Darf man darüber Witze machen? Und was bedeutet das alte journalistische Prinzip „no jokes with names“ eigentlich genau?

Von Stefan Brunn

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Eine neue Studie zeigt, dass ChatGPT & Co. unser Sprechen im Alltag beeinflussen: Bestimmte Wörter werden seit dem Aufkommen der Chatbots deutlich häufiger verwendet. Wir nennen einige dieser Wörter und ergründen die Ursachen.

Von Stefan Brunn

In einer groß angelegten Studie hat ein Forscherteam des Berliner Max-Planck-Instituts Transkripte aus über 700.000 Stunden englischsprachiger Vorträge und Podcast-Gespräche analysiert. Dabei zeigte sich ein sprunghafter Anstieg in der Nutzung bestimmter Begriffe: So stieg etwa die Häufigkeit von „delve“ (englisch für „vertiefen“) um fast 50 Prozent. Bei anderen von ChatGPT überdurchschnittlich oft genutzten Ausdrücken lag der Anstieg zwischen 30 Prozent und 50 Prozent. Mit statistischen Kausalitäts-Analysen wurde sichergestellt, dass dieser Effekt tatsächlich mit dem Start von ChatGPT zusammenhängt. Im Vergleich mit alternativen Zeitpunkten vor 2022 zeigte sich kein ähnlicher Trendwechsel.

Warum ausgerechnet diese Wörter?
Besonders starke Zuwächse zeigten neben dem Wort „delve“ Wörter wie „comprehend“, „boast“, „swift“ und „meticulous“. Viele dieser Wörter weisen hohe „GPT-Scores“ auf, also eine starke Vorliebe von ChatGPT gegenüber menschlichem Originaltext. Die Forscher legen nahe, dass die KI solche Wörter favorisiert, die präzise und sachlich wirken und das Image von Strukturiertheit und Überzeugungskraft besitzen.

Manche Bereiche übernehmen die Wörter schneller
Die sprachliche Veränderung war in spontanen Podcast-Gesprächen signifikant messbar, besonders in den Kategorien Wissenschaft und Technologie, Wirtschaft und Bildung. In Bereichen wie Religion und Spiritualität oder Sport war der Effekt jedoch nicht signifikant. Dies deutet darauf hin, dass sich die Änderung der Wortwahl auf bestimmten Feldern schneller durchsetzt.

Ursprung: kulturelle Rückkopplungsschleifen
Die Wissenschaftler erklären den Einfluss damit, dass Menschen zunehmend die von KI-Modellen geprägten Formulierungen übernehmen. Maschinen, die zunächst mit menschlichen Texten trainiert wurden, prägen nun umgekehrt die menschliche Kommunikation – ein neues Phänomen einer zirkulären „kulturellen Rückkopplung“. Das Forscherteam warnt, dass durch die Verbreitung solcher KI-Sprachmuster die Vielfalt von Sprache leiden könnte, weil sich Normen weltweit angleichen. Langfristig bestehe sogar die Gefahr einer unbemerkten Massenmanipulation der öffentlichen Kommunikation.

Die Studie lässt sich im Volltext auf arXiv als PDF herunterladen.

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE