AI, artificial intelligence,

Por qué IQ es una mala prueba para AI

Durante Una aparición de prensa recienteEl CEO de Operai, Sam Altman, dijo que ha observado que el “coeficiente intelectual” de IA mejora rápidamente en los últimos años.

“Muy aproximadamente, me parece que esto no es científicamente preciso, esto es solo un ambiente o una respuesta espiritual, cada año movemos una desviación estándar de IQ”, dijo Altman.

Altman no es el primero en usar IQ, una estimación de la inteligencia de una persona, como un punto de referencia para el progreso de la IA. Influencers de IA En las redes sociales se han dado modelos de pruebas de IQ y clasificaron los resultados.

Pero muchos expertos dicen que el coeficiente intelectual es una mala medida de las capacidades de un modelo, y una engañosa.

“Puede ser muy tentador usar las mismas medidas que usamos para los humanos para describir las capacidades o el progreso, pero esto es como comparar manzanas con naranjas”, dijo a TechCrunch Sandra Wachter, una investigadora que estudia tecnología y regulación en Oxford.

En sus comentarios en The Presser, Altman equiparó el coeficiente intelectual con inteligencia. Sin embargo, las pruebas de coeficiente intelectual son relativas, no objetivas, medidas de cierto Tipos de inteligencia. Hay alguno consenso Ese IQ es una prueba razonable de lógica y razonamiento abstracto. Pero no mide práctico Inteligencia, sabiendo cómo hacer que las cosas funcionen, y es en el mejor de los casos una instantánea.

“El coeficiente intelectual es una herramienta para medir las capacidades humanas, una disputada no menos, basada en lo que los científicos creen que se ve la inteligencia humana”, señaló Wachter. “Pero no puedes usar la misma medida para describir las capacidades de IA. Un automóvil es más rápido que los humanos, y un submarino es mejor para bucear. Pero esto no significa que los autos o submarinos superen la inteligencia humana. Estás equívocando un aspecto del rendimiento con la inteligencia humana, que es mucho más complejo “.

Sobresalir en una prueba de IQ, cuyos orígenes algunos historiadores rastrear a la eugenesia, la teoría científica ampliamente desacreditada de que las personas pueden mejorarse a través de la cría selectiva, un examen debe tener un Fuerte memoria de trabajo y conocimiento de las normas culturales occidentales. Esto invita a la oportunidad de sesgo, por supuesto, por eso Un psicólogo ha llamado pruebas de IQ “Modelos mecánicos ideológicamente corruptibles” de inteligencia.

Que un modelo podría funcionar en una prueba de IQ indica más sobre los defectos de la prueba que el rendimiento del modelo, según OS Keyes, un candidato de doctorado en la Universidad de Washington que estudia IA ética.

“(Estas) pruebas son bastante fáciles de jugar si tienes una cantidad prácticamente infinita de memoria y paciencia”, dijo Keyes. “Las pruebas de coeficiente intelectual son una forma muy limitada de medir la cognición, la sensibilidad y la inteligencia, algo que hemos sabido desde la invención de la computadora digital en sí”.

La IA probablemente también tiene una ventaja injusta en las pruebas de coeficiente intelectual, teniendo en cuenta que los modelos tienen cantidades masivas de memoria y conocimiento internalizado a su disposición. A menudo, los modelos están capacitados en datos web públicos, y la web está llena de preguntas de ejemplo tomadas de las pruebas de IQ.

“Las pruebas tienden a repetir patrones muy similares: una forma bastante infalible de elevar su coeficiente intelectual es practicar tomar pruebas de coeficiente intelectual, que es esencialmente lo que todo (modelo) ha hecho”, dijo Mike Cook, investigador en King’s College London especializado en IA. . “Cuando aprendo algo, no lo pongo en mi cerebro con una claridad perfecta 1 millón de veces, a diferencia de la IA, y tampoco puedo procesarlo sin ruido o pérdida de señal”.

En última instancia, las pruebas de IQ, sesgadas como son, fueron diseñadas para humanos, agregó Cook, destinado a evaluar las habilidades generales de resolución de problemas. Son inapropiados para una tecnología que aborda la resolución de problemas de una manera muy diferente a las personas.

“Un cuervo podría usar una herramienta para recuperar una golosina de una caja, pero eso no significa que pueda inscribirse en Harvard”, dijo Cook. “Cuando resuelvo un problema de matemáticas, mi cerebro también se afirma con su capacidad de leer las palabras en la página correctamente, para no pensar en las compras que necesito hacer de camino a casa, o si hace demasiado frío en la habitación en este momento . En otras palabras, los cerebros humanos confían con muchas más cosas cuando resuelven un problema, cualquier problema, pruebas de coeficiente intelectual o de otra manera, y lo hacen con mucha menos ayuda (que ai) “.

Todo esto apunta a la necesidad de mejores pruebas de IAHeidy Khlaaf, científico jefe de IA en el Instituto AI Now, dijo a TechCrunch.

“En la historia de la cálculo, no hemos comparado las habilidades informáticas con las de los humanos precisamente porque la naturaleza del cálculo significa que los sistemas siempre han podido completar tareas ya más allá de la capacidad humana”, dijo Khlaaf. “Esta idea de que comparamos directamente el rendimiento de los sistemas contra las habilidades humanas es un fenómeno reciente que es altamente disputado y lo que rodea la controversia de los puntos de referencia en constante expansión y móviles que se crean para evaluar los sistemas de IA”.

fuente