Primer vistazo al NVIDIA Jetson Orin Nano Super: La supercomputadora de IA generativa más asequible

NVIDIA acaba de revolucionar la computación en el borde con su nuevo Jetson Orin Nano Super Developer Kit. No se trata solo de una actualización incremental, sino de un gran salto adelante al llevar capacidades de IA generativa al borde por un precio increíblemente accesible de $249 (pendiente precio europa).

image.png

Comparación de Jetson Nano vs. Jetson Orin Nano Super

El Jetson Orin Nano Super es una computadora compacta pero potente que redefine la IA generativa para dispositivos pequeños.

67 TOPS de rendimiento en IA, un 1.7x de mejora sobre su predecesor.
Compatible con modelos avanzados de IA, como transformers de visión, modelos de lenguaje grande (LLMs) y modelos de visión-lenguaje.
Plataforma accesible para desarrolladores, estudiantes y creadores, con el ecosistema de software de IA de NVIDIA.
Los usuarios del Jetson Orin Nano Developer Kit pueden acceder a esta mejora solo con una actualización de software.

[content-egg module=Amazon products=”es-B0C73YDSVR” template=list]

Especificaciones

CaracterísticaOrin Nano OriginalOrin Nano SuperMejora
Arquitectura GPUAmpere (1024 CUDA @ 635 MHz)Ampere (1024 CUDA @ 1020 MHz)1.6x en velocidad de GPU
Rendimiento IA40 TOPS (Sparse) / 20 TOPS (Dense)67 TOPS (Sparse) / 33 TOPS (Dense)1.7x en IA
CPU6-core Arm Cortex-A78AE @ 1.5 GHz6-core Arm Cortex-A78AE @ 1.7 GHz1.13x más rápido
Memoria8GB LPDDR5 @ 68 GB/s8GB LPDDR5 @ 102 GB/s1.5x en ancho de banda
Consumo7W/15W7W/15W/25WNuevo modo de 25W

¿Qué tan potente es el Jetson Orin Nano Super?

El Orin Nano Super no solo ofrece una mejora en el rendimiento de IA y memoria, sino también velocidades más altas en la CPU y GPU.

1.7x más rendimiento de IA (67 TOPS vs. 40 TOPS)
1.5x más ancho de banda de memoria (102 GB/s vs. 68 GB/s)
Mayor velocidad en CPU y GPU

Capacidades de IA Generativa

Jetson Orin Nano Super es compatible con NVIDIA AI y frameworks especializados:

NVIDIA Isaac para robótica
NVIDIA Metropolis para visión IA
NVIDIA Holoscan para procesamiento de sensores
NVIDIA Omniverse Replicator para generación de datos sintéticos
NVIDIA TAO Toolkit para ajustar modelos preentrenados

Modelos de IA compatibles

Modelos de Lenguaje Grande (LLMs)

ModeloMejora en rendimiento
Llama-3.1 8B1.37x
Qwen2.5 7B1.53x
Gemma2 2B1.63x
Phi 3.5 3B1.54x

Modelos de Visión-Lenguaje (VLMs)

ModeloMejora en rendimiento
VILA 1.5 3B1.51x
LLAVA 1.6 7B1.36x
PaliGemma2-3B1.58x

Transformers de Visión (ViTs)

ModeloMejora en rendimiento
clip-vit-base-patch321.60x
SAM2 base1.43x
Grounding-DINO1.52x

Conectividad e Interfaces

Conectividad avanzada

Cámaras: 2x MIPI CSI-2
PCIe: M.2 Key M x4 PCIe Gen 3
USB: 4x USB 3.2 + 1x USB-C
Red: 1x puerto Gigabit Ethernet
Almacenamiento: Ranura microSD

Facilidad para desarrolladores

Compatibilidad con TensorRT-LLM
Frameworks populares
Ecosistema Jetson
Soporte para contenedores Docker

Instalación y Configuración de Jetson Orin Nano Super

Requisitos previos

✅ Jetson Orin Nano
✅ Tarjeta SD de 64GB/128GB
✅ Adaptador WiFi
✅ Teclado y mouse inalámbricos

Software necesario

Descarga la imagen SD de Jetson con JetPack 6.2
Instala el SDK de Jetson con Etcher

Pasos de instalación

1️⃣ Verificar versión L4T

head -n 1 /etc/nv_tegra_release

2️⃣ Actualizar sistema

sudo apt update && sudo apt upgrade

3️⃣ Instalar JetPack

sudo apt install jetpack

4️⃣ Configurar Docker

sudo usermod -aG docker $USER && 
newgrp docker && 
sudo systemctl restart docker

5️⃣ Instalar ejemplos de Jetson

pip3 install jetson-examples

6️⃣ Reiniciar sistema

sudo reboot

7️⃣ Instalar Ollama

reComputer run ollama

8️⃣ Ejecutar un modelo LLM

ollama run tinyllama

9️⃣ Instalar modelos adicionales

ollama pull llama3.2

Instalar Open WebUI en Docker

docker run -d -p 3000:8080 --gpus all --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

Acceder a Open WebUI

Navega a http://localhost:3000 para la interfaz gráfica
API disponible en http://localhost/ollama/docs

Conclusión

El Jetson Orin Nano Super marca un antes y un después en la computación en el borde.

Con un rendimiento 1.7x superior, mejor ancho de banda de memoria y soporte para modelos de IA generativa, se convierte en la opción más accesible para desarrolladores, investigadores y empresas.

Por 249 dólares no es solo un dispositivo, es una revolución en la computación de IA accesible.

Vistas: 1