Los detectores de IA afirman que la Declaración de Independencia fue generada en un 98% por IA

Cuidado, tramposos: los detectores de IA quieren atraparte a ti y a tu chatbot con las manos en la masa.

O al menos eso es lo que los desarrolladores de IA utilizan como argumento de venta y quieren que creamos. Cuando ChatGPT entró en el espíritu cultural de la época en 2022, los profesores y profesores se resistieron al aumento de trabajos y tareas de investigación generados por IA. Para frenar el uso de la IA en el aula, los profesores están utilizando detectores de IA que pretenden distinguir el texto escrito por IA del texto escrito por humanos.

Pero, ¿qué precisión tienen estas herramientas? De acuerdo a Christopher Penn, científico jefe de datos de la firma de análisis de marketing Trust Insights, con sede en Boston, dice: “Los detectores de IA son una broma”. Un detector de IA que probó afirmó que el 97,75% del Preámbulo de EE. UU. Declaración de la independencia Fue generado por IA.

“Lo que me llevó a probar detectores de IA fue ver a colegas peleando, discutiendo sobre si un contenido fue generado por IA”, dijo Penn. Descifrar. “Vi esto en LinkedIn; Algunas personas se lanzaban acusaciones entre sí de que fulano de tal era un especialista en marketing perezoso, que tomaba el camino más fácil y simplemente usaba IA.

¿Luchar contra las palabras? Tal vez. Penn dijo: “Probablemente deberíamos probar esto para comprender si es realmente cierto o no. »

Penn decidió probar varios detectores de IA utilizando la Declaración de Independencia y quedó consternado por lo que descubrió: “Creo que son peligrosos”, dijo sobre estos detectores. “Son simples y dañinos”.

“Estas herramientas se utilizan para descalificar a los estudiantes, ponerlos en período de prueba académica o suspenderlos”, dijo. Se trata de “una aplicación de muy alto riesgo, mientras que en Estados Unidos la educación universitaria cuesta decenas de miles de dólares al año”.

Decidimos hacer nuestra propia prueba para ver cómo funcionaban estos sitios. En el primero, utilizamos el mismo extracto que Penn usó de la Declaración de Independencia para determinar qué detectores pensaron incorrectamente que el texto fue generado por IA. Para la segunda prueba, tomamos un extracto del cuento de ciencia ficción de 1909 de EM Forrester “la maquina se detiene” y le pidió a ChatGPT que lo reescribiera para ver qué detector identificaba el pasaje como escrito por la IA. Aquí están nuestros resultados:

Tomando el mismo texto que usó Penn, comparamos varios detectores de IA: Grammarly, GPTZero, QuillBot y ZeroGPT, el detector de IA que Penn mostró en su publicación de LinkedIn.

DE MEJOR A PEOR: Detección de texto escrito por humanos

1. Gramática. De los cuatro que probamos, Grammarly obtuvo el mejor rendimiento en la detección de texto generado por humanos y por IA. Incluso me recordó citar mi trabajo.
2. El detector de IA de Quillbot también identificó el texto de la Declaración como “100% escrito por humanos”.
3. GPTZero le dio a la Declaración de Independencia un 89% de probabilidad de que fuera escrita por humanos.
4. ZeroGPT lo dejó absolutamente boquiabierto y dijo que el texto de la Declaración de Independencia fue generado en un 97,93% por IA, incluso más que los hallazgos de Penn a principios de este mes.

En esta siguiente prueba corrimos”la maquina se detiene“a través de ChatGPT-4o para reescribir el texto para ver si los detectores de IA podían detectar la escritura falsa.

DE MEJOR A PEOR: Detección de texto escrito por IA

1. Se descubrió que Grammarly es el más eficaz para detectar contenido generado por IA al comparar “The Machine Stops” con su versión de IA.
2. GPTZero identificó la historia original como probablemente escrita en un 97% por humanos y la versión de IA como generada en un 95% por IA.
3. Quillbot no pudo diferenciar entre texto humano y de IA, dando a ambos una probabilidad del 0%.
4. ZeroGPT identificó el texto “La máquina se detiene” como probablemente escrito por un humano con una probabilidad del 4,27%. pero etiquetó erróneamente la versión generada por IA como escrita por un humano con una probabilidad del 6,35%.

“Grammarly continúa profundizando su experiencia en la evaluación de la originalidad de los textos y el uso responsable de la IA”, dijo un portavoz de Grammarly. descifrar, apuntando a un negocio trabajo sobre su software de detección de IA.

“Estamos agregando la detección de IA a nuestras funciones de originalidad como parte de nuestro compromiso con el uso responsable de la IA”, dijo la compañía. “Damos prioridad a brindar a nuestros usuarios, especialmente a los estudiantes, la mayor cantidad de información transparente posible, incluso si la tecnología tiene limitaciones inherentes”.

El portavoz de Grammarly también destacó la última actualización de la compañía, Grammarly Authorship, una extensión de Google Chrome que permite a los usuarios demostrar qué partes de un documento fueron creadas por humanos, generadas por IA o modificadas por IA.

“No recomendamos utilizar los resultados de la detección de IA para disciplinar directamente a los estudiantes”, dijo Alex Cui, CTO de GPTZero. Descifrar. “Creo que es útil como herramienta de diagnóstico, pero requiere nuestras herramientas de autoría para una solución real”.

Al igual que Grammarly, GPTZero ofrece una herramienta de “autoría” que Cui recomienda utilizar para verificar que los futuros envíos de contenido estén escritos por humanos.

“Nuestros informes de redacción en Google Docs y nuestro propio editor analizan los patrones de escritura en un documento para ver si el documento fue escrito por un humano y reducen significativamente el riesgo de conclusiones incorrectas”, dijo.

Cui enfatizó la importancia de entrenar continuamente el modelo de IA en un conjunto de datos diverso.

“Utilizamos grandes modelos de procesamiento de lenguaje natural (PNL) y aprendizaje automático entrenados en un conjunto de datos de millones de IA y documentos generados por humanos, y se prueba que tienen una baja tasa de error antes de su publicación”, dijo. “Ajustamos nuestro detector para que tenga tasas de falsos positivos inferiores al 1% antes del lanzamiento en general para reducir el riesgo de falsos positivos”.

Penn señaló que confiar ciegamente en detectores de IA para detectar plagio y trampas es tan peligroso como confiar en la IA para escribir un informe fáctico.

“Mi advertencia para cualquiera que esté considerando utilizar estas herramientas es que tienen tasas inaceptablemente altas de falsos positivos para cualquier aplicación crítica o de alto riesgo”, dijo Penn. “La tasa de falsos positivos –si estás pensando en expulsar a alguien de la universidad o revocarle su doctorado– tiene que ser cero. Período. Fin de la historia. Si las instituciones realizaran estas pruebas rigurosas, descubrirían rápidamente que no hay herramientas en el mercado que puedan comprar. Pero eso es lo que tiene que pasar.

Afortunadamente, sólo el 5% de este artículo fue generado por IA.

ZeroGPT y Quillbot no respondieron de inmediato a las solicitudes de comentarios.

Editado por Andrew Hayward.