← Todos los artículos

Inteligência Artificial · 7 min

IA de 35 bilhões de parâmetros com só 3 GB de memória: o que é o Edge0 e por que ele importa na crise da RAM

Uma técnica aberta chamada Edge0 roda um modelo de IA de 35 bilhões de parâmetros a 20 tokens por segundo com só 3 GB de memória ativa, em Mac, Windows, Android e iPhone. Explicamos como funciona sem jargão, os números, os limites e o que isso muda para empresas.

En resumen

Edge0 é um motor de código aberto (Apache 2.0) que roda modelos de IA grandes do tipo MoE (mistura de especialistas) em hardware comum, descrito no estudo "The Other Half of the Memory Wall", publicado em setembro de 2026. - Problema: um modelo da classe 35B ocupa cerca de 19,5 GB mesmo em 4 bits; a arquitetura MoE reduz o cálculo, mas não a memória necessária. - Solução: guarda os especialistas no SSD e carrega só os ativos; um "pré-roteador" treinado prevê, uma etapa antes, quais especialistas serão usados (até +59% de velocidade); adaptadores LoRA recuperam a qualidade perdida na compressão. - Resultado: num computador de 24 GB, um modelo de 35B roda a 20 tokens por segundo com 3 GB de memória ativa, a poucos pontos da versão original em cinco testes públicos. - Plataformas (desde 4/11/2026): macOS (testado em Apple M5 de 16 GB), iOS (iPhone 17 Pro Max), Android (Snapdragon 8 Elite) e Windows (i5-12400 + RTX 4070 Super), com servidor local compatível com a API da OpenAI. - Modelos: Edge0-35B-A3B-preview (base Qwen3.6-35B-A3B) e Edge0-8B-A1B-preview, ambos em versão de testes.

IA de 35 bilhões de parâmetros com só 3 GB de memória: o que é o Edge0 e por que ele importa na crise da RAM