OpenAI dice que está tomando un enfoque deliberado para lanzar herramientas que puedan detectar la escritura de ChatGPT
OpenAI ha construido una herramienta que podría potencialmente atrapar a los estudiantes que hacen trampa pidiendo a ChatGPT que escriba sus tareas, pero según The Wall Street Journal, la empresa está debatiendo si realmente la lanzará.
En una declaración proporcionada a TechCrunch, un portavoz de OpenAI confirmó que la empresa está investigando el método de marca de agua de texto descrito en la historia del Journal, pero dijo que está tomando un enfoque deliberado debido a 'las complejidades involucradas y su probable impacto en el ecosistema más allá de OpenAI'.
“El método de marca de agua de texto que estamos desarrollando es técnicamente prometedor, pero tiene riesgos importantes que estamos considerando mientras investigamos alternativas, incluida la susceptibilidad a la circunvención por parte de actores malintencionados y el potencial para impactar desproporcionadamente a grupos como los hablantes no nativos de inglés”, dijo el portavoz.
Este sería un enfoque diferente de la mayoría de los esfuerzos anteriores para detectar texto generado por IA, que han sido en su mayoría ineficaces. Incluso OpenAI mismo cerró su detector de texto de IA anterior el año pasado debido a su 'baja tasa de precisión'.
Con la marca de agua de texto, OpenAI se centraría únicamente en detectar la escritura de ChatGPT, no de otros modelos de empresas. Lo haría haciendo pequeños cambios en cómo ChatGPT selecciona palabras, creando esencialmente una marca de agua invisible en la escritura que luego podría ser detectada por una herramienta separada.
Tras la publicación de la historia del Journal, OpenAI también actualizó una publicación de blog de mayo sobre su investigación en torno a la detección de contenido generado por IA. La actualización dice que la marca de agua de texto ha demostrado ser 'altamente precisa e incluso efectiva contra la manipulación localizada, como parafrasear', pero ha demostrado ser 'menos resistente contra la manipulación globalizada, como el uso de sistemas de traducción, reformular con otro modelo generativo o pedir al modelo que inserte un carácter especial entre cada palabra y luego eliminar ese carácter'.
Como resultado, OpenAI escribe que este método es 'trivial de circunvenir por actores malintencionados'. La actualización de OpenAI también hace eco del punto del portavoz sobre los hablantes no nativos de inglés, escribiendo que la marca de agua de texto podría 'estigmatizar el uso de la IA como una herramienta de escritura útil para los hablantes no nativos de inglés'.
