Text & Dokumente

Zahlen & Berechnung

Daten & Formate

Sicherheit

Entwicklung & DevOps

Künstliche Intelligenz

Finanzen

Gesundheit & Wohlbefinden

Produktivität

Spiele & Unterhaltung

Multimedia & Design

Unternehmen

Das sagt NICHT, ob es eine KI geschrieben hat

Und das ist keine Bescheidenheit: ein solcher Detektor lässt sich nicht validieren, und einer, der sich irrt, ist schlimmer als keiner, weil er Vertrauen gibt, wo keines angebracht ist. Was hier gemessen wird, ist Leere, und die ist eine Eigenschaft des Textes und nicht seines Autors — ein Mensch kann Füllung schreiben und ein Modell kann etwas mit Substanz schreiben. Und es ist obendrein nützlicher, denn die eigentliche Frage dessen, der ein Dokument bekommt, lautet nicht «wer hat das geschrieben?», sondern «lohnt es sich, das ganz zu lesen?».

Die Methode kommt von einer Führungskraft bei Microsoft

Ryan Roslansky erzählte, dass er ein mit KI erstelltes Dokument bekam und es, statt es zu lesen, einer anderen KI zum Zusammenfassen gab: Die Zusammenfassung enthielt nicht eine neue Idee. Das ist eine Methode, kein Eindruck, und hier ist sie gemessen: Gesucht wird die kleinste Menge von Absätzen, die alles abdeckt, was der Text sagt, und was übrig bleibt, kannst du streichen, ohne etwas zu verlieren. Die große Zahl ist genau das.

Warum es ein Modell braucht und keine Wortliste

Die bestehenden Werkzeuge suchen nach Wörtern: geschraubtes Vokabular, Floskeln, wiederholte Bigramme. Das erwischt, was sich wörtlich wiederholt. Aber die Füllung eines Sprachmodells wiederholt dieselbe Idee mit anderen Worten, und da reicht ein Wörterbuch nicht: In der Literatur zur automatischen Zusammenfassung erkennen semantische Verfahren bis zu 90 % der Redundanz gegenüber 19 % bei den lexikalischen. Deshalb werden hier Bedeutungen verglichen und keine Buchstaben — und deshalb muss einmal ein Modell von 150 MB heruntergeladen werden.

Der Schwellenwert IST deine Falsch-Positiv-Rate

Erhöh ihn und er markiert nur die Absätze, die fast Kopien sind; senk ihn und er fängt an, Absätze des Füllens zu bezichtigen, die zwar dasselbe Thema haben, aber Verschiedenes sagen. Es gibt keinen guten Wert, es gibt einen Kompromiss — denselben wie beim Konfidenzschwellenwert der Kamera in Kamera mit lokaler KI. Ein Hinweis zu den Zahlen: dieses Modell staucht die Ähnlichkeiten, erwarte also keine 90 % zwischen zwei Absätzen, die dasselbe sagen. Mit Kontrolltexten gemessen liegen die dreisten Paraphrasen bei 62–69 % und Absätze mit verschiedenen Fakten unter 55 %; deshalb liegt der Schnitt bei 60. Beweg ihn und schau zu, wie sich das Durchgestrichene ändert, bevor du irgendetwas glaubst.

Ein Text mit Substanz bringt Daten mit

«Sank im März laut Nielsen um 12 %» gegenüber «erfuhr im Zeitraum eine signifikante Entwicklung». Man muss den Text nicht verstehen, um den Unterschied zu sehen: Es reicht, Zahlen und Eigennamen pro 100 Wörter zu zählen. Es ist das dümmste aller Signale und eines der treffsichersten. Achtung auf ein Detail: Das erste Wort jedes Satzes zählt NICHT als Eigenname, denn seine Großschreibung ist Rechtschreibung und keine Information.

Dein Text verlässt diese Seite nicht

Das Modell wird einmal heruntergeladen —es sind 150 MB, dieselben, die schon die Werkzeuge für Embeddings, Ähnlichkeit und RAG benutzen— und ab da passiert alles in deinem Browser. Das ist wichtiger, als es scheint: Was hier eingefügt wird, ist meist ein internes Dokument, das dir jemand geschickt hat, und die lädt man nicht auf einen fremden Server hoch, damit er sie bewertet.

Sagt dieser Text etwas?

Miss, wie viel sich streichen lässt, ohne eine einzige Idee zu verlieren

Sagt nicht, ob es eine KI geschrieben hat. Es misst die Füllmasse, die zum Text gehört und nicht zu seinem Autor: Lohnt es sich, ihn ganz zu lesen?

Füg hier das Dokument ein (trenn die Absätze mit einer Leerzeile)

0 AbsätzeWann zwei Absätze «dasselbe sagen»: 60%

0.6

Klick auf „Messen“, und hier erscheint, wie viel man streichen kann, welche Absätze nötig sind und welche dieselbe Idee mit anderen Worten wiederholen.