El equipo Qwen de Alibaba ha publicado BlenderWorld, un conjunto de pruebas de código abierto diseñado para evaluar la capacidad de los agentes visuales de inteligencia artificial a la hora de completar tareas reales de creación 3D en Blender.
El proyecto se publicó el 14 de octubre bajo licencia MIT, y tanto el código como el conjunto de datos están disponibles en GitHub, Hugging Face y ModelScope. La documentación incluye un informe técnico con la metodología completa.
La diferencia principal frente a otros benchmarks de generación de imágenes es el tipo de resultado que se exige. BlenderWorld no evalúa si la IA produce una imagen atractiva.
Evalúa si entrega un archivo de proyecto .blend editable, con geometría, materiales, iluminación y cámara correctamente construidos, y si además genera las exportaciones solicitadas: imágenes renderizadas, vídeos o archivos de modelo. El objetivo es que un diseñador pueda abrir ese proyecto y modificarlo, no solo mirarlo.
¿Qué contiene el conjunto de datos?
BlenderWorld incluye 223 tareas y 2.651 criterios de evaluación binarios. Las tareas se distribuyen en 9 categorías principales y 22 subcategorías, que cubren productos, arquitectura, entornos naturales, personajes, animación y visualización científica.
Los formatos de entrada varían según la tarea:
- 78 tareas proporcionan únicamente descripción de texto.
- 130 tareas combinan imagen y texto.
- 15 tareas combinan vídeo y texto.
Además, 59 tareas incluyen documentos de especificación con requisitos concretos sobre dimensiones, materiales o parámetros de cámara. Estos archivos acompañan a las referencias visuales y obligan al agente a respetar restricciones medibles, no solo a interpretar una idea general.
El conjunto usa identificadores neutros, de bw_0001 a bw_0223, para evitar que el nombre de la tarea condicione la respuesta del modelo.
¿Cómo se evalúa cada entrega?
El proceso de evaluación es el aspecto más elaborado del proyecto. Cada envío se somete a tres capas de análisis.
Renderizado desde 8 perspectivas adaptativas. El sistema abre el proyecto en Blender, lo renderiza con el motor Cycles a 1024 × 1024 y 64 muestras y genera ocho vistas que cubren la escena desde ángulos representativos. Permite hasta dos re-renderizados correctivos por vista si el primero falla. Las imágenes originales y los fotogramas de animación muestreados se usan como evidencia adicional.
Inspección de la escena con Agent-as-Judge. Un agente evalúa la estructura del proyecto: si los objetos existen, si los materiales están aplicados, si la jerarquía es coherente, si la cámara apunta donde debe. Esta parte se apoya en los 2.651 criterios binarios específicos de cada tarea. Cada criterio tiene un peso de importancia de 1, 2 o 3.
Puntuación de calidad visual. Un modelo de visión con capacidades de lenguaje (VLM) asigna ocho calificaciones de 1 a 10 sobre dimensiones holísticas de la imagen renderizada: composición, iluminación, realismo, coherencia, etc.
La puntuación final combina ambas partes al 50%:
- Puntuación de rúbrica = 100 × Σ(peso × aprobado) / Σ(peso)
- Puntuación de dimensiones = 10 × media de las ocho calificaciones
- Puntuación final = 0,5 × rúbrica + 0,5 × dimensiones
El protocolo público no aplica un límite máximo a la puntuación. Exige renders nuevos del evaluador, veredictos estructurales completos y las ocho calificaciones de dimensión. Los resultados se guardan en JSON y CSV.
Requisitos para ejecutarlo
El proyecto está pensado para desarrolladores que quieran integrar sus propios agentes de generación en el banco de pruebas. Los requisitos técnicos son concretos:
- Linux como sistema operativo.
- Python 3.10 o superior.
- Blender 4.2.10 para generar los proyectos.
- Node.js 22.17.0, Codex CLI 0.147.0 y Claude Code 2.1.220 si se usa el entorno de agente incluido.
- ffmpeg y ffprobe para el procesamiento de vídeo en la fase de evaluación.
- Un endpoint de Chat Completions con capacidades de visión para las evaluaciones automáticas.
La instalación se realiza desde el repositorio:
git clone https://github.com/QwenLM/BlenderWorld.git
cd BlenderWorld
python -m pip install -e .
bw download --output data/BlenderWorld
bw verify data/BlenderWorld
El comando bw download descarga el conjunto de datos. bw verify comprueba que cada tarea y recurso estén completos. bw list --modality image permite filtrar tareas por tipo de entrada.
¿Cómo se usa con un agente generador?
El flujo de trabajo tiene tres pasos.
Preparar la entrada. bw prepare --dataset data/BlenderWorld --task-id bw_0001 --output work/bw_0001 genera un espacio de trabajo con query.txt, input.json, los medios de referencia y los archivos adjuntos declarados. El agente recibe acceso a ese espacio y a Blender a través de sus propias herramientas de código o MCP.
Generar y empaquetar. El agente guarda el proyecto principal como model-output/final.blend, junto con las exportaciones solicitadas y las dependencias de texturas. Después, bw pack-submission comprime el contenido en un ZIP con final.blend en la raíz y carpetas opcionales textures/ y outputs/.
Evaluar. bw evaluate --dataset data/BlenderWorld --submissions submissions --task-id bw_0001 --output runs/one-task ejecuta la evaluación completa. Si se omite --task-id, se evalúan las 223 tareas. La opción --dry-run escribe un plan sin invocar Blender ni los servicios de modelo, y --resume permite continuar una ejecución interrumpida.
Las entregas ausentes o fallidas reciben cero y permanecen en el denominador seleccionado, lo que evita que un agente pueda mejorar su media simplemente no enviando las tareas difíciles.
¿Por qué este benchmark es realmente tan útil?
Los benchmarks de generación de imágenes suelen evaluar el resultado visual final. BlenderWorld evalúa el proceso completo de creación 3D: interpretar una referencia, construir una escena coherente, aplicar materiales, colocar la cámara y entregar un proyecto editable. Es una prueba más cercana al trabajo real de un artista o diseñador 3D que la simple generación de una imagen.
Para los equipos que desarrollan agentes visuales, el valor está en la granularidad. Los 2.651 criterios binarios y las ocho dimensiones de calidad permiten identificar exactamente en qué falla un modelo: si no coloca bien la cámara, si los materiales no coinciden con la referencia, si la geometría es incorrecta o si la iluminación no es coherente. Esa información es más útil para iterar que una puntuación única.
El proyecto está disponible en github.com/QwenLM/BlenderWorld. La documentación incluye el formato del conjunto de datos, el formato del ZIP de envío, el protocolo de evaluación y la integración opcional con Harbor como adaptador de generación y verificación.
Descubre más desde CIBERED
Suscríbete y recibe las últimas entradas en tu correo electrónico.
