Die Länge von Texten bemisst sich in Wörtern oder Zeichen, Zeilen oder Seiten. So war es bisher. In KI-Zeiten scheitern Textaufgaben aber oft daran, dass zu viele Token das sogenannte Kontextfenster überfordern. Aber was sind diese Token eigentlich?

Von Stefan Brunn

Es war einmal ganz einfach: Die Länge eines Textes (etwa des vorhergehenden Absatzes) konnte man nachzählen oder sich im Textverarbeitungsprogramm anzeigen lassen: 38 Wörter. Die Zeichenzahl inklusive Leerzeichen war oft das genauere Maß, mit dem man sich über eine vorgesehene Textlänge austauschen konnte. Nun ist eine andere Maßeinheit aufgetaucht, die immens wichtig ist für Textaufgaben, die man mithilfe von KI lösen will: die sogenannten Token.

Token sind die kleinste Grundeinheit, die KI-Modelle verwenden, um Texte aufzuteilen und zu verarbeiten. Diese Einheit ist aus mindestens zwei Gründen für alle relevant, die sich beim Schreiben von KI helfen lassen – und sei es nur in Form eines Korrektorats:

1. Die Menge der verarbeitbaren Token ist je nach Modell oder sogar Aufgabe unterschiedlich. Viele Aufgaben lassen sich einfach nicht lösen, wenn zu viele Token dafür erforderlich wären. Zum Beispiel kann man in die meisten Chatfenster zwar 100-seitige PDF einspeisen – bloß wird der Inhalt dann nicht komplett verarbeitet. Wer also zum Beispiel nach irgendeinem Detail darin sucht, wird es nicht finden, weil die KI gar nicht so weit kommt. Die Menge an Token macht quasi das Gedächtnis der KI-Abfrage aus. Dabei zählen sowohl der Prompt als auch zusätzlich eingegebene Hintergrundinformationen und letztlich natürlich das erzeugte Textergebnis mit. Wenn das Eingabefenster (eher ist es das „Kontextfenster“) ein Maximum von 128.000 Token hat, man aber einen Text mit 100.000 Token eingibt, dann kann natürlich kein korrigierter Text mit 100.000 Token ausgespuckt werden.
2. So wie früher freie Journalist*innen von Zeitungen oft nach geschriebenen Zeilen bezahlt wurden, bezahlen User heute oft nach genutzten Token, vor allem, wenn sie über eine Schnittstelle (API) darauf zugreifen. Das ist allerdings viel undurchsichtiger, weil zum Beispiel bei fortgeschrittenen Modellen auch der mehrfache Zugriff auf den Text („Reasoning“) kostet.

Überhaupt ist die Komplexität ein Token-Problem. Wie viele Token ein Text enthält, ist viel schwieriger zu ermitteln als bei Wörtern oder Zeichen. Es sind jedenfalls nicht die Buchstaben oder Silben, auch Satzzeichen oder Emojis zählen mit. Schon ein Wort wie „Hallo“ ist schwierig zu messen – das englische „hello“ hat 1 Token, das deutsche „hallo“ 2 Token. Sehen Sie es gerne im Tokenizer von OpenAI nach!

Es helfen einem aber Faustformeln oder Schätzwerte wie: Ein Wort im Deutschen macht ungefähr 1,75 Token aus. Auch kann man seinen Text von darauf spezialisierten Maschinen auszählen lassen. Wir von IMKIS haben einen eigenen Zeichenzähler programmiert, der sowohl Zeichen als auch Wörter und geschätzte Token für das Deutsche angibt. Um herauszufinden, ob eine bestimmte Aufgabe überhaupt mengenmäßig machbar ist, reicht das oft aus.

Wie viel Text passt nun in eine normale Textanfrage bei ChatGPT oder anderen Modellen? Hier die Rechnung an einem stark gerundeten Beispiel, nämlich einer Standardseite im Format DIN A4 mit 30 Zeilen je 60 Anschlägen – das ist das, was man in Redaktionen früher ein „Blatt“ nannte:

• 1 Seite (oder eben „Blatt“)
• 30 Zeilen (je 60 Zeichen)
• 1.800 Zeichen inklusive Leerzeichen
• etwa 270 Wörter
• etwa 400 Token (im Deutschen)

Wer bei ChatGPT in das Fenster des Modells 4o etwas eingibt, dem stehen (Stand 1. Januar 2025) etwa 8.000 Token zur Verfügung. Wenn man also 10 Seiten nach obiger Definition zum Korrigieren eingibt, könnte man nicht mehr die Ausgabe des korrigierten Textes erwarten – man braucht ja auch noch einen Prompt. Oder, anders herum erklärt: Ich kann der KI 6 Seiten Ausgangstext liefern, dazu 2 Seiten mit genauer Aufgabenbeschreibung und 6 Seiten mit Regeln als PDF – und würde noch 6 korrigierte Seiten herausbekommen können: 20 Seiten mal 400 Token = 8.000 Token. Nachfragen dürfte ich dann allerdings nicht mehr stellen beziehungsweise ich dürfte jedenfalls nicht mehr damit rechnen, dass die KI sie noch adäquat beantwortet. 😉

Wer eine 30-seitige Studie ins Kontextfenster eingibt und die Ausgabe eines perfekt korrigierten Textes erwartet, wird derzeit noch enttäuscht werden. Allerdings prahlen die ersten Large Language Models schon damit, dass sie 100 Millionen Token verarbeiten können (siehe LLM Magic LTM 2 mini). Wie schnell wir diese Modelle für unsere Texte nutzen können und wie gut dann die Ergebnisse sind, steht aber noch in den Sternen. Im Moment muss man längere Texte oft noch teilen oder sich Tricks einfallen lassen …

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Ist etwas nur angedacht, bereits beschlossen oder schon umgesetzt? Wenn diese Information nicht vorhanden ist, fehlt Texten das Wichtigste. Wir sprechen von der Statusinformation – einem leider oft vergessenen Inhalt.

Von Stefan Brunn

Ohne Statusinfos entsteht Unsicherheit bei Leserinnen und Lesern, wie sie einen Inhalt einordnen sollen. Das wiederum kann zu falschen Erwartungen oder Entscheidungen führen – deshalb sollte die Prüfroutine praktisch bei jedem Text lauten: Erfährt meine Zielgruppe, was hier der Status des Textinhalts ist? Denn es macht zum Beispiel für Entscheiderinnen und Entscheider durchaus einen Unterschied, ob der Text die kuriose Idee von irgendwelchen Hinterbänklern beschreibt oder einen bereits verabschiedeten Beschluss im Bundesrat. Das gilt für behördliche Vermerke, für Management summarys, für Pressetexte und viele weitere Textsorten.

Man kann den Status einer Information natürlich explizit mitteilen: „Das hat das Gericht gestern bestätigt, eine Revision ist nicht möglich.“ Es ist aber auch möglich, ihn zusätzlich oder alternativ durch Modalverben (wie kann, soll, darf, muss) auszudrücken, die weit weniger deutlich sind: „Unternehmen in Deutschland dürfen ihren Beschäftigten keine Briefmarken schenken.“ Modalverben sind dabei Schlüsselbegriffe, die eine zusätzliche Ebene der Präzisierung bieten.

Die Statusphase deutlich machen – egal ob explizit oder auch implizit – kann man jedoch nur, wenn man sie auch erkennt. Helfen kann dabei unsere nachfolgende Übersicht, die zwischen fünf Phasen unterscheidet:

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Warum sehen die Anführungszeichen in der Neuen Zürcher Zeitung anders aus als in deutschen Zeitungen? Die Antwort ist einfach: Weil sich in den einzelnen Ländern unterschiedliche typografische Standards entwickelt haben. Wir haben die Tüttelchen mal übersichtlich gruppiert.

Von Stefan Brunn

In den folgenden Gruppen finden Sie die Standardformen diverser europäischer Länder (plus USA). Zu beachten ist natürlich, dass in manchen Ländern mehrere Sprachen verbreitet sind (etwa in der Schweiz). Das führt auch zu mehreren erlaubten Formen von Anführungszeichen.

Den deutschen Standard korrekter Gänsefüßchen, nämlich „…“, kann man sich durch die Zahlenkombination 99-66 ganz gut merken. Wenn Sie sich die folgenden Zeichen ansehen, erkennen Sie sicher, was das bedeutet:

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

„Ilse’s Imbiss“ ist neuerdings kein Fehler mehr, der Rat für deutsche Rechtschreibung hat bei Eigennamen klein beigegeben. Das heißt natürlich nicht, dass es keine Deppenapostrophe mehr gibt. Wir haben die sieben wichtigsten Fehler systematisiert …

Von Stefan Brunn

Link zu den amtlichen Regeln des Rechtschreibrats, in denen das Genitiv-s bei Eigennamen jetzt nicht mehr als Fehler gilt:
https://www.rechtschreibrat.com/regeln-und-woerterverzeichnis/

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE

Geister, Brotkrümel und U-Boote – was haben diese Dinge mit Online-Dating zu tun? Mehr als Sie denken! Testen Sie Ihr Wissen über die neuesten Begriffe des Online-Datings mit unseren zehn Quizfragen.

Von Hannah Molderings

Neugierig geworden?

Wir von IMKIS lieben es, Entwicklungen rund um Kommunikation und Sprache zu durchleuchten – und geben dieses Wissen auch in Seminaren weiter. Vielleicht finden auch Sie etwas in unserem Portfolio?

UNSERE SEMINARE