Slava S. (slvDev) ha optimizado un LLM de 28,9 millones de parámetros que se ejecuta localmente en una placa de desarrollo ESP32-S3 a unos 9 tokens/s mientras genera texto o, más exactamente, escribe relatos cortos. En el pasado hemos escrito sobre LLM y ESP32, pero normalmente las placas se utilizan como pasarelas de bajo consumo para interactuar con LLM en línea alojados en potentes servidores de centros de datos. Entre esos productos o proyectos se incluyen el módulo de chat inteligente HiWonderLLM, el framework ESP-Claw o el ESP32 Agent Dev Kit. El proyecto «esp32-ai» de Slava es bastante diferente, ya que todo se ejecuta en el microcontrolador ESP32-S3. Esto no funcionará en todos los ESP32-S3, ya que necesitarás suficiente memoria y almacenamiento para guardar el archivo del modelo de 14,9 MB (cuantización de 4 bits), y Slava probó su demo en una placa ESP32-S3 de unos 8 dólares con 512 […]
Un LLM de 28,9 millones de parámetros se ejecuta localmente en ESP32-S3 a 9 tokens/s
