OpenAI lanzó recientemente su próximo modelo insignia, GPT-4o, y realizó algunas demostraciones interesantes. El chat de voz humanoide se ha convertido en la característica principal, pero hay más. OpenAI no destacó muchas cosas interesantes de las que ChatGPT 4o es capaz de hacer.
Estos detalles están disponibles en la página de OpenAI y los revisé todos. En ese sentido, descubramos las nuevas e interesantes capacidades de ChatGPT 4o.
1. Generación precisa de texto en imágenes
Sabemos que los modelos de difusión tienen dificultades para generar textos sobre imágenes. Dall -E 3 aún no puede generar imágenes con el texto proporcionado. Sin embargo, el modelo ChatGPT 4o que es un modelo multimodal de un extremo a otro, puede representar textos con precisión. OpenAI no mencionó esto en la presentación.
Puede generar y agregar texto a imágenes sin esfuerzo. La consistencia en muchas muestras es notable. También puedes adjuntar imágenes y pedirle que genere imágenes desde diferentes ángulos del mismo personaje, y mantiene la coherencia en todos los escenarios.
También puede generar una vista 3D de objetos que puedes combinar para crear una representación 3D. Sin mencionar que también puede generar fuentes.
Debes tener en cuenta que estas capacidades aún no están disponibles en ChatGPT. Todavía usa Dall -E 3 para generar imágenes. OpenAI puede desbloquear estas funciones en un futuro próximo.
2. GPT-4o también puede procesar vídeos
OpenAI no mencionó que GPT-4o también puede manejar videos. Bueno, en la página del modelo, OpenAI ha demostrado que puedes subir un vídeo y pedirle a GPT-4o que lo resuma.
Desde la transcripción hasta el resumen con viñetas, lo hace todo. Entonces parece que Gemini 1.5 Pro no es el único modelo que puede procesar videos.
3. GPT-4o puede ser su tutor
En una presentación con Sal Khan de Khan Academy, OpenAI mostró una demostración fascinante utilizando el modelo GPT-4o. Básicamente, en un iPad, puedes compartir tu pantalla con ChatGPT 4o y este puede ver todo en tu pantalla.
Ahora puede pedirle que le explique y le ayude a encontrar soluciones a un problema. Ya sean matemáticas, ciencias, gráficos, mapas o cualquier otra cosa, ChatGPT 4o será tu profesor personal que te guiará durante tu sesión de estudio.
Se trata de una gran aplicación de IA, impulsada por la capacidad de visión multimodal de GPT-4o. Por cierto, también funciona con la aplicación de escritorio ChatGPT para macOS.
4. ChatGPT 4o puede ser su compañero de reuniones
En una de las demostraciones, OpenAI demostró que puede tener ChatGPT 4o como compañero en vivo durante las reuniones. Puedes compartir la pantalla con ChatGPT 4o y este puede ver y escuchar a todos los participantes.
También puede brindar aportes y los participantes también pueden hacer preguntas sobre el modelo GPT-4o. Responde espontáneamente y permanece involucrado en la conversación. Al final, también puedes pedirle que resuma la reunión. ¿Cuan genial es eso?
5. Rendimiento mejorado en idiomas distintos del inglés
OpenAI no solo mejoró el rendimiento de GPT-4o en inglés, sino que también mejoró el rendimiento en idiomas regionales. Ha mejorado significativamente el tokenizador que permite que el modelo comprima idiomas distintos del inglés para que quepan más tokens.
Para dar algunos ejemplos, el idioma gujarati consume 4,4 veces menos tokens, el hindi 2,9 veces menos tokens, el telugu 3,5 veces menos tokens, el urdu 2,5 veces menos tokens, el ruso 1,7 veces menos tokens y más. Básicamente, para los idiomas regionales, ChatGPT 4o se ha vuelto aún más poderoso.
6. ChatGPT 4o supera a todos los demás modelos de IA
OpenAI no discutió los números de referencia y se centró en ofrecer nuevas experiencias. Sin embargo, los números de referencia de ChatGPT 4o eclipsan a todos los demás modelos de IA de Google, Anthropic, Meta, etc. De hecho, funciona mejor que su propio modelo GPT-4 Turbo que se lanzó hace unos meses.
Desde MMLU hasta HumanEval, GPQA y DROP, ChatGPT 4o supera a los modelos propietarios y de código abierto. También en el ámbito LMSYS, el misterioso modelo soy-también-un-buen-gpt2-chatbot (que en realidad es el modelo ChatGPT 4o) obtuvo una puntuación ELO general de 1310, mucho más alta que otros modelos de IA.