E não é modéstia: um detetor assim não se pode validar, e um que se engana é pior do que nenhum porque dá confiança onde não a há. O que se mede aqui é vazio, que é uma propriedade do texto e não do seu autor — uma pessoa pode escrever enchimento e um modelo pode escrever algo com substância. E ainda por cima é mais útil, porque a pergunta real de quem recebe um documento não é «quem o escreveu?» mas «vale-me a pena lê-lo todo?».
Ryan Roslansky contou que recebeu um documento feito com IA e, em vez de o ler, passou-o a outra IA para que o resumisse: o resumo não tinha nem uma ideia nova. Isso é um método, não uma impressão, e aqui está medido: procura-se o conjunto mínimo de parágrafos que cobre tudo o que o texto diz, e o que sobra é o que podes deitar fora sem perder nada. O número grande é isso.
As ferramentas que já existem procuram palavras: vocabulário pomposo, frases feitas, bigramas repetidos. Isso apanha o que se repete literal. Mas o enchimento de um modelo de linguagem repete a mesma ideia com outras palavras, e aí um dicionário não chega: na literatura de resumo automático, os métodos semânticos detetam até 90% da redundância contra 19% dos lexicais. Por isso aqui comparam-se significados, não letras — e por isso é preciso descarregar um modelo de 150 MB uma vez.
Sobe-o e só marcará os parágrafos que são quase decalques; baixa-o e começará a acusar de enchimento parágrafos que partilham tema mas dizem coisas distintas. Não há um valor bom, há um compromisso — o mesmo que o limiar de confiança da câmara em Câmara com IA local. Um aviso sobre os números: este modelo comprime as semelhanças, por isso não esperes 90% entre dois parágrafos que dizem o mesmo. Medindo com textos de controlo, as paráfrases descaradas ficam nos 62-69% e os parágrafos com factos distintos abaixo de 55%; por isso o corte está em 60. Move-o e olha mudar o que se risca antes de te fiares de nada.
«Baixou 12% em março segundo a Nielsen» contra «registou uma evolução significativa no período». Não é preciso perceber o texto para ver a diferença: basta contar números e nomes próprios por cada 100 palavras. É o sinal mais tonto de todos e dos mais certeiros. Atenção a um detalhe: a primeira palavra de cada frase NÃO conta como nome próprio, porque a sua maiúscula é ortografia e não informação.
O modelo descarrega-se uma vez —são 150 MB, os mesmos que já usam as ferramentas de embeddings, similaridade e RAG— e a partir daí tudo acontece no teu navegador. Importa mais do que parece: o que se cola aqui costuma ser um documento interno que alguém te mandou, e esses não se enviam para um servidor alheio para que os pontue.
Isto não diz se foi uma IA que o escreveu, e não por modéstia: um detetor assim não se pode validar, e um que se engana é pior do que nenhum. Mede vazio, que é do texto e não do seu autor — uma pessoa pode escrever enchimento e um modelo pode escrever algo com substância. A pergunta que responde é «vale-me a pena lê-lo todo?».