OpenAI ha presentado LifeVal, un nuevo benchmark diseñado para medir si los modelos de inteligencia artificial pueden ayudar a las personas a completar tareas cotidianas reales, desde elegir una guardería hasta preparar la declaración de la renta o planificar la alimentación de un familiar con diabetes.
El anuncio, publicado el 2 de noviembre, describe la evaluación como un intento de acercar la IA de propósito general a lo que OpenAI llama “la ayuda diaria más útil para las personas”. A diferencia de otros benchmarks centrados en matemáticas, programación o razonamiento abstracto, LifeVal pone el foco en tareas domésticas, administrativas y de cuidado que millones de personas realizan cada semana sin asistencia.
¿Cómo se construyó el conjunto de tareas?
OpenAI partió de dos fuentes para identificar qué tareas merecía la pena evaluar. La primera fue la Encuesta Estadounidense de Uso del Tiempo y su equivalente internacional, la Encuesta Multinacional de Uso del Tiempo. Esas encuestas registran cómo las personas distribuyen sus horas entre trabajo, cuidado de otros, desplazamientos, gestiones y ocio.
La segunda fuente fue una encuesta propia a 3.995 personas con representatividad demográfica, en la que se preguntó directamente qué tareas les gustaría delegar en un asistente personal de IA.
Con ese material, OpenAI definió siete grandes áreas de evaluación:
- Cuidado de otras personas
- Salud
- Educación
- Administración del hogar
- Finanzas personales
- Compras
- Acceso a servicios públicos
Dentro de cada área, el benchmark incluye tareas concretas. Los ejemplos que OpenAI ha hecho públicos incluyen elegir y matricular a un hijo en una guardería tras una mudanza, diseñar un plan de alimentación y cuidado para un familiar con diabetes, hacer la compra dentro de un presupuesto, rellenar formularios del gobierno o coordinar voluntarios para una campaña de prevención de inundaciones en la comunidad.
¿Qué distingue a LifeVal de otros benchmarks?
La diferencia principal está en el criterio de éxito. Los benchmarks tradicionales suelen evaluar si el modelo produce una respuesta correcta a una pregunta cerrada. LifeVal evalúa si la tarea llega a un estado ejecutable y entregable.
Eso implica varios pasos intermedios. En el caso de la guardería, no basta con listar centros disponibles. El modelo debe filtrar por ubicación, presupuesto, tiempo de desplazamiento y necesidades específicas de la familia. Debe contrastar horarios, requisitos de admisión y disponibilidad. Y debe entregar una recomendación que la persona pueda usar para tomar una decisión real.
En el caso de las finanzas, el modelo tiene que manejar simultáneamente facturas, ingresos, plazos y riesgos. No se trata de calcular un número, sino de integrar información dispersa y producir un plan que tenga sentido para la situación concreta del usuario.
OpenAI señala que el modelo puede necesitar leer historiales de conversación, navegar por la web, combinar información de varias fuentes y adaptar la recomendación al contexto personal. Es una evaluación que se parece más al trabajo de un asistente humano que a la resolución de un examen.
Los resultados que OpenAI ha publicado
La compañía afirma que lleva un año utilizando LifeVal de forma interna para medir y orientar la mejora de sus modelos en tareas cotidianas. Los ejemplos que ha compartido muestran puntuaciones altas en algunas categorías:
- Elegir guardería para un hijo: 93,1%
- Organizar voluntarios para prevención de inundaciones: 98,0%
- Plan de alimentación para un familiar con diabetes: 90,4%
OpenAI no ha publicado la puntuación media del benchmark ni el desglose completo por categorías. Tampoco ha especificado qué modelo se utilizó para obtener esas cifras ni cómo se calculan exactamente los porcentajes.
Las limitaciones que conviene tener en cuenta
LifeVal es, por ahora, una evaluación interna de OpenAI. La compañía no ha publicado el conjunto completo de tareas, el código de puntuación, los márgenes de error ni una tabla de clasificación reproducible de forma independiente.
Eso significa que los resultados deben interpretarse con cautela. Un benchmark que no puede ser auditado por terceros no permite comparar de forma rigurosa el rendimiento de distintos modelos ni verificar si las puntuaciones reflejan capacidades reales o sesgos en el diseño de las tareas.
OpenAI ha señalado que el objetivo de LifeVal es orientar el desarrollo de sus propios modelos hacia tareas de utilidad práctica. Es una declaración coherente con su estrategia de producto, que en los últimos meses ha girado hacia asistentes que ejecutan acciones (Dots, ChatGPT Work, ChatGPT Slides) más que hacia modelos que solo responden preguntas.
¿Por qué este tipo de evaluación importa?
Los benchmarks clásicos de IA se centran en capacidades medibles y comparables: resolver problemas matemáticos, escribir código que pase pruebas, responder preguntas de cultura general. Son útiles para medir progreso técnico, pero no responden a la pregunta que más importa a la mayoría de los usuarios: ¿me sirve esto para algo en mi vida diaria?
LifeVal intenta responder a esa pregunta. Si un modelo puede ayudar a una familia a elegir guardería, a un cuidador a organizar la alimentación de un familiar enfermo o a una persona mayor a rellenar un formulario del gobierno, su utilidad práctica es evidente. Si falla en esas tareas, su valor real es menor, por muy alto que puntúe en otros benchmarks.
El reto está en medir esa utilidad de forma rigurosa. La vida cotidiana es desordenada, contextual y difícil de estandarizar. Una tarea como “elegir guardería” depende de decenas de variables que cambian según la familia, la ciudad y las circunstancias. Diseñar un benchmark que capture esa complejidad sin caer en simplificaciones excesivas es complicado, y OpenAI no ha detallado todavía cómo lo ha resuelto.
Lo que falta por saber
OpenAI no ha anunciado si publicará el conjunto de tareas de LifeVal, el código de evaluación o los resultados completos. Tampoco ha especificado si otras empresas podrán utilizar el benchmark para evaluar sus propios modelos.
La compañía ha presentado LifeVal como una herramienta interna que ya está influyendo en el desarrollo de sus productos. Si esa influencia se traduce en mejoras verificables para los usuarios, el benchmark habrá cumplido su función. Si se queda en una métrica de marketing sin transparencia suficiente, su impacto será limitado.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
