Detectores de texto gerado por IA não entregam prova: entregam uma pontuação com margem de erro alta e já medida em estudos com dados reais. Em um estudo da Universidade Stanford, ferramentas de detecção classificaram 61.22% das redações TOEFL escritas por estudantes não nativos de inglês como texto gerado por IA, embora todos os textos fossem de autores humanos. A resposta curta para quem pergunta se eles funcionam é: não como veredito. Funcionam, no máximo, como um sinal fraco que precisa de revisão humana antes de qualquer consequência para o autor do texto.
O que os estudos mediram
Duas pesquisas com dados abertos dimensionam o problema em escalas diferentes. A primeira, conduzida por pesquisadores de Stanford e divulgada em maio de 2023 pelo instituto de IA da própria universidade, comparou o comportamento de vários detectores diante de redações do TOEFL, o exame de inglês para falantes de outras línguas. A segunda, publicada como preprint no arXiv em 2026, adotou um desenho mais controlado: em vez de comparar grupos de autores, comparou manuscritos não nativos com as versões dos mesmos textos após edição profissional.
| Estudo | Amostra | Resultado central |
|---|---|---|
| Universidade Stanford, 2023 | 91 redações TOEFL de estudantes não nativos | 61.22% classificadas como geradas por IA; 97% marcadas por ao menos um detector |
| arXiv, 2026 | 135,389 pares de documentos (2018–2025) | Falsos positivos entre 0.0% e 100.0% em 13 detectores |
Taxa de falso positivo é a frequência com que a ferramenta marca texto humano como gerado por IA; em triagem editorial, um corte agressivo dessa taxa inunda o revisor de alarmes falsos. Na avaliação mais recente, os pesquisadores reuniram 135,389 pares de documentos de um serviço profissional de edição e verificaram que 13 detectores de IA apresentaram taxas de falso positivo que variaram de 0.0% a 100.0%, segundo a ferramenta escolhida. A amplitude mostra que o problema não é uma falha isolada de um produto: o resultado muda conforme o método por trás de cada detector.
Por que os detectores erram
Os detectores mais comuns estimam a “perplexidade” do texto, ou seja, quão previsível é a sequência de palavras. Escrita mais polida e lexicalmente rica tende a parecer mais previsível para esses modelos — e escrever com fluidez em uma segunda língua produz exatamente o padrão que confunde a ferramenta. O pesquisador James Zou, autor sênior do estudo de Stanford, resume: as notas são sensíveis à sofisticação do texto, não à sua origem.
O estudo de 2026 reforça o ponto com um experimento natural: as mesmas edições aumentaram a pontuação de IA em alguns detectores e reduziram em outros, e a variação acompanhou a intensidade da edição. No conjunto de Stanford, 89 das 91 redações TOEFL (97%) foram marcadas por ao menos um detector, sem qualquer participação de IA na escrita. Há ainda o problema oposto: pedidos simples de “reescrever com linguagem mais sofisticada” bastaram para driblar as ferramentas testadas, o que torna o detector ruim para pegar quem se esforça em disfarçar e eficiente para castigar quem escreve bem em segunda língua.
O que fazer com um resultado
Se você recebeu uma acusação baseada em detector, ou precisa usar uma dessas ferramentas no trabalho, o caminho seguro é tratar a pontuação como pista, nunca como sentença. Um roteiro em cinco passos:
- Guarde o histórico das versões: arquivos com data, rascunhos e comentários do editor provam o processo de escrita melhor do que qualquer nota.
- Nunca aceite a porcentagem como prova única: exija o nome da ferramenta, o modelo, a data da análise e o corte usado para marcar texto.
- Compare o trecho apontado com outros textos do mesmo autor escritos sem IA; a consistência de estilo é o melhor contraexemplo.
- Peça revisão humana independente antes de qualquer penalidade ou decisão de nota, entrega ou contratação.
- Se o detector for realmente necessário, use-o só como triagem, para escolher onde concentrar a leitura atenta de um revisor.
Essa rotina de comprovar antes de confiar é a mesma que vale para qualquer recurso novo: o guia de 6 passos para testar uma extensão de IA no navegador segue a lógica inversa do detector — em vez de apostar na promessa do fornecedor, você submete a ferramenta ao seu próprio teste.
Quando o sinal serve para algo
Existem usos razoáveis, desde que a consequência não caia sobre uma pessoa. Triagem editorial de grandes volumes, checagem de padrões suspeitos em lote e monitoramento de conteúdo produzido em escala combinam com detector porque um revisor humano decide depois. O que os estudos descartam é o uso punitivo direto: a recomendação do próprio estudo de Stanford é evitar a dependência dessas ferramentas em ambientes com muitos falantes não nativos, exatamente o grupo mais afetado pelos falsos positivos. Para o usuário comum, o mesmo ceticismo vale para qualquer promessa de IA — inclusive ao escolher apps de IA no celular para tarefas do dia a dia, em que o teste prático revela mais do que a descrição da loja.