El acelerador USB de IA ASUS UGen300 incorpora un procesador de IA Hailo-10H de 40 TOPS y 8 GB de memoria LPDDR4 para admitir modelos de lenguaje de gran tamaño (LLM), modelos de lenguaje de visión (VLM) y cargas de trabajo de visión artificial, con un consumo inferior a 2,5 vatios.
En cierto modo, el hardware es similar al Raspberry Pi AI HAT+ 2, pero en un formato de dongle delgado (105 x 50 x 18 mm) y con un puerto USB 3.2 Gen1 USB-C de 10 Gbps en lugar de una interfaz PCIe de 5 u 8 GT/s.
Especificaciones del acelerador USB de IA ASUS UGen300 (UGen300-USB-8G):
- Acelerador de IA: Hailo Hailo-10H con hasta 40 TOPS (INT4) o 20 TOPS (INT8) de rendimiento de inferencia
- Memoria: 8 GB de LPDDR4 a 4266 MT/s
- Interfaz de host: puerto USB 3.1 Gen2 (10 Gbps) Type-C
- Alimentación: 5 V a través del puerto USB-C
- Consumo de energía: 2,5 vatios (típico)
- Dimensiones: 105 x 50 x 18 mm
- Peso: 145 gramos
ASUS afirma que el acelerador USB de IA funciona con los sistemas operativos Windows, Linux y Android en hosts x86 o Arm. Es compatible tanto con modelos de visión como de IA generativa, incluidos más de 150 modelos preentrenados, mediante frameworks de IA como Keras, TensorFlow, TensorFlowLite, PyTorch y ONNX. La documentación de ASUS muestra cómo instalar el SDK HailoRT en Ubuntu y ofrece tutoriales de Python para LLM, VLM y conversión de voz a texto.
Como señalamos en nuestro análisis del Raspberry Pi AI HAT+ 2, el Hailo-10H no acelerará necesariamente las cargas de trabajo de LLM, pero ayudará a descargar el trabajo al adaptador USB, dejando más memoria y recursos de CPU/GPU en el host, y potencialmente con un menor consumo. Así que, en ese sentido, debería ser más un descargador de LLM que un acelerador. Sin embargo, acelerará las cargas de trabajo de visión artificial y también puede ayudar a mejorar algo el rendimiento con los VLM.
ASUS presentó el acelerador USB de IA UGen300 hace varios meses, pero solo ha estado disponible públicamente para la venta recientemente, y la compañía ofrece el adaptador USB por 299,99 $ en su tienda online o en Newegg. Esta última también lista el módulo M.2 ASUS UGen300 Hailo-10H con 8 GB por 259,99 $, y una variante con 2 GB de RAM está en preparación, pero aún no está a la venta.
Traducido del artículo en inglés «$299.99 ASUS UGen300 USB AI accelerator combines 40 TOPS Hailo-10H chip with 8GB LPDDR4» de Jean-Luc Aufranc (CNXSoft).
Publicaciones traducidas automáticamente