Meta ha anunciado un modelo de generación de imágenes de inteligencia artificial (IA) “similar a la humana”, I-JEPA, y ha proporcionado componentes a los investigadores.
La compañía dice que el modelo será más efectivo que los modelos de IA generativa gracias a que se basa en el contexto y el conocimiento previo, imitando la cognición humana típica.
En la publicación, Meta describe cómo I-JEPA se basa en la visión del científico jefe de IA de Meta (Yann LeCun) de “una IA más humana”.
Meta también destaca la eficiencia de capacitación de I-JEPA, prometiendo que se puede entrenar un modelo de transformador visual de 632 millones de parámetros utilizando 16 GPU A100 en menos de 72 horas, lo que, según la compañía, es de dos a 10 veces más rápido que otros métodos y genera menos errores.
Para incorporar efectivamente el aprendizaje similar al humano en los algoritmos de IA, Meta dice que los sistemas deben codificar información de fondo de sentido común en una representación digital a la que un algoritmo pueda acceder más tarde.
Además, Meta dice que un sistema debe aprender estas representaciones de manera autosupervisada.
Meta argumenta que al “predecir representaciones a un alto nivel de abstracción en lugar de predecir valores de píxeles directamente”, I-JEPA puede “evitar las limitaciones de los enfoques generativos”.
En comparación con los métodos generativos que predicen en el espacio de píxel/token, I-JEPA utiliza objetivos de predicción abstractos para los que se eliminan potencialmente los detalles innecesarios a nivel de píxel, lo que lleva al modelo a aprender más características semánticas.
Si bien, los modelos JEPA de Meta siguen en desarrollo, Meta ha enfatizado la importancia de compartir los componentes de sus modelos de IA con los investigadores, un movimiento que cree que ayudará a la innovación.
Los detalles completos de JEPA se describen en un nuevo trabajo de investigación que Meta presentará en la Conferencia anual de reconocimiento de patrones y visión por computadora de la Computer Vision Foundation esta misma semana.