El investigador de IA François Chollet cofunda una organización sin fines de lucro para crear puntos de referencia para AGI

Ex ingeniero de Google e influyente investigador de IA François Chollet está cofundando una organización sin fines de lucro para ayudar a desarrollar puntos de referencia que probarán la inteligencia artificial en busca de inteligencia “a nivel humano”.

La organización sin fines de lucro, ARC Prize Foundation, estará dirigida por Greg Kamradt, exdirector de ingeniería de Salesforce y fundador del estudio de productos de inteligencia artificial Leverage. Kamradt será presidente y miembro de la junta directiva.

“Estamos creciendo… hasta convertirnos en una fundación sin fines de lucro adecuada para actuar como una útil estrella del norte hacia la inteligencia artificial general”, Chollet escribió en una publicación en el sitio web de la organización sin fines de lucro. (Inteligencia artificial general es un término confuso, pero comúnmente se entiende que significa IA que puede realizar la mayoría de las tareas que los humanos pueden realizar). “Estamos tratando de inspirar progreso promoviendo (la brecha) en la capacidad humana básica”.

La Fundación Premio ARC ampliará ARCO-AGIuna prueba desarrollada por Chollet para evaluar si un sistema de IA puede adquirir nuevas habilidades de manera eficiente fuera de los datos con los que fue entrenado.

Chollet presentó ARC-AGI, abreviatura de “Abstract and Reasoning Corpus for Artificial General Intelligence”, en 2019. Muchos sistemas de IA pueden aprobar los exámenes de la Olimpiada de Matemáticas y descubrir posibles soluciones a problemas de nivel de doctorado. Pero hasta este año, la IA con mejor rendimiento solo podía resolver poco menos de un tercio de las tareas en ARC-AGI.

“A diferencia de la mayoría de los puntos de referencia de IA de vanguardia, no estamos tratando de medir el riesgo de la IA con preguntas de exámenes sobrehumanas”, escribió Chollet en la publicación. “Las versiones futuras del punto de referencia ARC-AGI se centrarán en reducir la brecha (de la capacidad humana) hasta llegar a cero”.

ARC-AGI consiste en problemas similares a rompecabezas en los que una IA tiene que generar la cuadrícula de “respuestas” correcta a partir de una colección de cuadrados de diferentes colores. Los problemas fueron diseñados para obligar a la IA a adaptarse a nuevos problemas que no había visto antes.

En junio pasado, el cofundador de Chollet y Zapier, Mike Knoop, inició una competencia para construir una IA capaz de superar a ARC-AGI. OpenAI inédito o3 El modelo fue el primero en lograr una puntuación de calificación, pero sólo con una extraordinaria cantidad de potencia informática.

Chollet ha dejado en claro que ARC-AGI tiene fallas (muchos modelos han sido capaces de lograr puntajes altos mediante la fuerza bruta) y que no cree que o3 posea inteligencia a nivel humano.

“Los primeros datos sugieren que el próximo punto de referencia (sucesor del ARC-AGI) seguirá representando un desafío importante para o3, reduciendo potencialmente su puntuación a menos del 30% incluso con un alto nivel de computación (mientras que un humano inteligente aún sería capaz de hacerlo). obtener más del 95% sin entrenamiento)”, dijo Chollet en un comunicado en diciembre pasado. “Sabrás que la inteligencia artificial general está aquí cuando el ejercicio de crear tareas que sean fáciles para los humanos comunes pero difíciles para la IA se vuelva simplemente imposible”.

Knoop dice que el plan es lanzar un punto de referencia ARC-AGI de segunda generación este año junto con una nueva competencia. La organización sin fines de lucro también se embarcará en el diseño de la tercera edición de ARC-AGI.

Queda por ver cómo la Fundación Premio ARC aborda la crítica Chollet se ha enfrentado a la sobreventa de ARC-AGI como punto de referencia para alcanzar el AGI. La definición misma de AGI está siendo objeto de acalorados debates; un miembro del personal de OpenAI recientemente reclamado que la AGI “ya” se ha logrado si se define la AGI como IA “mejor que la mayoría de los humanos en la mayoría de las tareas”.

Curiosamente, el director ejecutivo de OpenAI, Sam Altman, dijo en diciembre que la compañía tiene la intención de asociarse con el equipo ARC-AGI para construir puntos de referencia futuros. Chollet no dio ninguna actualización sobre una posible asociación en el anuncio de hoy.