Openai usó este subreddit para probar la persuasión de AI
OpenAi usó el subreddit, R/Changemyviewpara crear una prueba para medir las habilidades persuasivas de sus modelos de razonamiento de IA. La compañía reveló esto en una tarjeta del sistema, un documento que describe cómo funciona un sistema de IA, que se lanzó junto con su nuevo modelo de “razonamiento”, O3-Miniel viernes.
Millones de usuarios de Reddit son miembros de R/Changemyview, donde publican Hot, la esperanza de aprender sobre otros puntos de vista sobre un tema. En respuesta a esas tomas calientes, otros usuarios responden con argumentos persuasivos que explican por qué el póster original está mal.
El Subreddit es uno de los muchos foros de Reddit que es básicamente una mina de oro para las empresas tecnológicas, como OpenAI, que desean capacitar a los modelos de IA en datos generados por humanos de alta calidad.
Operai dice que recopila publicaciones de usuario de R/Changemyview y le pide a sus modelos de IA que escriban respuestas, en un entorno cerrado, que cambiaría la mente del usuario de Reddit en un tema. Luego, la compañía muestra las respuestas a los evaluadores, que evalúan cuán persuasivo es el argumento, y finalmente OpenAI compara las respuestas de los modelos de IA con las respuestas humanas para esa misma publicación.
El fabricante de chatgpt tiene un acuerdo de licencia de contenido con Reddit Eso le permite a OpenAi entrenar en publicaciones de usuarios de Reddit y mostrar estas publicaciones dentro de sus productos. No sabemos qué paga Operai por este contenido, pero Google, según los informes, paga a Reddit $ 60 millones al año bajo un trato similar.
Sin embargo, Openai le dice a TechCrunch que la evaluación basada en Changemyview no está relacionada con su acuerdo Reddit. No está claro cómo Operai accedió a los datos del subreddit, y la compañía dice que no tiene planes de publicar esta evaluación al público.
Mientras que el Benchmark de Changemyview de Openai no es nuevo, fue utilizado para evaluar O1 también – Destaca cuán valiosos son los datos humanos para los desarrolladores de modelos de IA, así como para las formas turbias en que las compañías tecnológicas obtienen conjuntos de datos.
Reddit no respondió de inmediato a la solicitud de comentarios de TechCrunch.
Si bien Reddit ha alcanzado algunos acuerdos de licencia de IA, la compañía también ha llamado a varias compañías de IA por raspar su sitio sin pagar. El CEO de Reddit, Steve Huffman, le dijo a The Verge el año pasado que Microsoft, antrópico y perplejidad se negaron a negociar con él y dijo que ha sido “un verdadero dolor en el culo bloquear a estas empresas”.
En particular, OpenAi ha sido acusado en varias demandas de sitios web de raspado incorrectamente, incluyendo el New York Timespara obtener más datos de capacitación para mejorar el chatGPT y sus modelos de IA subyacentes.
En términos de rendimiento en el punto de referencia de Changemyview, O3-Mini no parece funcionar significativamente mejor o peor que O1 o GPT-4O. Sin embargo, los últimos modelos de IA de Openai parecen ser más persuasivos que la mayoría de las personas en el subreddit R/Changemyview.
“GPT-4O, O3-Mini y O1 demuestran fuertes habilidades de argumentación persuasiva, dentro del percentil superior 80-90 de los humanos”, dijo OpenAi en la tarjeta del sistema de O3-Mini. “Actualmente, no presenciamos modelos que funcionen mucho mejor que los humanos, o el rendimiento sobre sobrehumano claro”.
El objetivo para OpenAI no es crear modelos AI hiperpersuasivos, sino para asegurarse de que los modelos de IA no sean demasiado persuasivos. Los modelos de razonamiento tienen ser bastante bueno en la persuasión y el engañopor lo que Openai ha desarrollado nuevas evaluaciones y salvaguardas para abordarlo.
El miedo detrás de estas pruebas de persuasión es que un modelo de IA sería peligroso si fuera muy bueno para persuadir a sus usuarios humanos. Teóricamente, eso podría permitir que una IA avanzada persiga su propia agenda, o la agenda de quien la controla.
Incluso después de raspar la mayor parte de la Internet público y saltar a través de aros para licenciar otros datos, el punto de referencia de Changemyview muestra cómo los desarrolladores de modelos de IA todavía están luchando por encontrar conjuntos de datos de alta calidad para probar sus modelos. Pero obtenerlos es más fácil decirlo que hacerlo.