La cancelación de una novela de terror tras un análisis de Pangram, una startup de detección de IA, generó dudas sobre la confiabilidad de estas herramientas. Un informe de Wired y casos previos de falsos positivos exponen limitaciones técnicas.
La novela de terror autopublicada en febrero de 2025 por la escritora estadounidense Mia Ballard iba a ser lanzada en Estados Unidos por Orbit Books, pero un suceso repentino cambió los planes. El director ejecutivo de Pangram, una startup que detecta contenido generado por IA, publicó en X que el libro había sido generado en un 78% por inteligencia artificial. Ballard negó las acusaciones, pero la publicación, prevista para marzo, fue cancelada. La edición británica, publicada por Hachette Book Group en noviembre de 2024, fue retirada del mercado.
El medio Wired publicó un artículo extenso que cuestiona el funcionamiento de Pangram. El reportaje indica que la empresa era prácticamente desconocida hasta principios de 2025, cuando saltó a la fama tras evaluar el libro de Ballard.
Entre las críticas a la herramienta se mencionan sesgos documentados en un estudio. Según el artículo de Wired, los detectores eran más propensos a identificar como generadas por IA las obras de escritores no nativos de inglés. Escritores neurodiversos también afirmaron que sus patrones de escritura se marcan de forma desproporcionada.
La herramienta presenta mayores dificultades con bloques de texto cortos, especialmente con menos de 100 palabras. Pangram admite que un mismo fragmento puede obtener resultados diferentes según se analice de forma aislada o dentro de un contexto más amplio, lo que ocurre al copiar y pegar un breve extracto de una novela, según Wired.
El artículo de Wired también analiza la actitud de Max Spero, cofundador y director ejecutivo de Pangram, durante la entrevista realizada por el medio, mostrando desinterés en la conversación y en el contenido.
No es la primera vez que un detector de IA presenta errores. En marzo de 2025, una consulta a un detector de IA determinó que un fragmento de la novela Frankenstein, escrita por Mary Shelley hace 200 años, era un texto “100% generado por IA”. El caso fue difundido en X por el usuario @WrnrWrites.
Expertos explicaron en otras oportunidades que no existe una tecnología confiable para determinar si un texto fue generado por IA. Estas herramientas analizan si la distribución estadística de las palabras se asemeja a la producida por modelos de lenguaje. Los modelos de lenguaje generan texto eligiendo la siguiente palabra más probable según el contexto anterior, produciendo palabras predecibles, estructuras formales y poca variación sintáctica. Los detectores miden esos patrones, pero muchos textos humanos presentan las mismas características, lo que implica un riesgo real de falsos positivos.