Und das ist keine Bescheidenheit: ein solcher Detektor lässt sich nicht validieren, und einer, der sich irrt, ist schlimmer als keiner, weil er Vertrauen gibt, wo keines angebracht ist. Was hier gemessen wird, ist Leere, und die ist eine Eigenschaft des Textes und nicht seines Autors — ein Mensch kann Füllung schreiben und ein Modell kann etwas mit Substanz schreiben. Und es ist obendrein nützlicher, denn die eigentliche Frage dessen, der ein Dokument bekommt, lautet nicht «wer hat das geschrieben?», sondern «lohnt es sich, das ganz zu lesen?».
Ryan Roslansky erzählte, dass er ein mit KI erstelltes Dokument bekam und es, statt es zu lesen, einer anderen KI zum Zusammenfassen gab: Die Zusammenfassung enthielt nicht eine neue Idee. Das ist eine Methode, kein Eindruck, und hier ist sie gemessen: Gesucht wird die kleinste Menge von Absätzen, die alles abdeckt, was der Text sagt, und was übrig bleibt, kannst du streichen, ohne etwas zu verlieren. Die große Zahl ist genau das.
Die bestehenden Werkzeuge suchen nach Wörtern: geschraubtes Vokabular, Floskeln, wiederholte Bigramme. Das erwischt, was sich wörtlich wiederholt. Aber die Füllung eines Sprachmodells wiederholt dieselbe Idee mit anderen Worten, und da reicht ein Wörterbuch nicht: In der Literatur zur automatischen Zusammenfassung erkennen semantische Verfahren bis zu 90 % der Redundanz gegenüber 19 % bei den lexikalischen. Deshalb werden hier Bedeutungen verglichen und keine Buchstaben — und deshalb muss einmal ein Modell von 150 MB heruntergeladen werden.
Erhöh ihn und er markiert nur die Absätze, die fast Kopien sind; senk ihn und er fängt an, Absätze des Füllens zu bezichtigen, die zwar dasselbe Thema haben, aber Verschiedenes sagen. Es gibt keinen guten Wert, es gibt einen Kompromiss — denselben wie beim Konfidenzschwellenwert der Kamera in Kamera mit lokaler KI. Ein Hinweis zu den Zahlen: dieses Modell staucht die Ähnlichkeiten, erwarte also keine 90 % zwischen zwei Absätzen, die dasselbe sagen. Mit Kontrolltexten gemessen liegen die dreisten Paraphrasen bei 62–69 % und Absätze mit verschiedenen Fakten unter 55 %; deshalb liegt der Schnitt bei 60. Beweg ihn und schau zu, wie sich das Durchgestrichene ändert, bevor du irgendetwas glaubst.
«Sank im März laut Nielsen um 12 %» gegenüber «erfuhr im Zeitraum eine signifikante Entwicklung». Man muss den Text nicht verstehen, um den Unterschied zu sehen: Es reicht, Zahlen und Eigennamen pro 100 Wörter zu zählen. Es ist das dümmste aller Signale und eines der treffsichersten. Achtung auf ein Detail: Das erste Wort jedes Satzes zählt NICHT als Eigenname, denn seine Großschreibung ist Rechtschreibung und keine Information.
Das Modell wird einmal heruntergeladen —es sind 150 MB, dieselben, die schon die Werkzeuge für Embeddings, Ähnlichkeit und RAG benutzen— und ab da passiert alles in deinem Browser. Das ist wichtiger, als es scheint: Was hier eingefügt wird, ist meist ein internes Dokument, das dir jemand geschickt hat, und die lädt man nicht auf einen fremden Server hoch, damit er sie bewertet.
Das sagt nicht, ob es eine KI geschrieben hat, und nicht aus Bescheidenheit: So ein Detektor lässt sich nicht validieren, und einer, der sich irrt, ist schlimmer als keiner. Es misst Leere, und die gehört dem Text und nicht seinem Autor — ein Mensch kann Füllung schreiben und ein Modell kann etwas mit Substanz schreiben. Die Frage, die es beantwortet, ist «lohnt es sich, das ganz zu lesen?».