Gli sviluppatori hanno presentato il modello MoE compatto Edge0-35B-A3B-preview

Il team di sviluppatori ha rilasciato Edge0-35B-A3B-preview — un nuovo modello linguistico dell'architettura Mixture-of-Experts con un totale di 35 miliardi di parametri. Il progetto ha raccolto oltre 1200 stelle sulla piattaforma Hugging Face in soli 44 ore dopo la pubblicazione.

La caratteristica chiave del modello è l'ottimizzazione per il funzionamento su dispositivi con risorse limitate. Il sistema consuma meno di 3 GB di memoria operativa attiva, il che consente di eseguirlo su attrezzature consumer. Utilizzando il framework edge0 il modello mostra una velocità di generazione di circa 15 token al secondo.

Durante i test, gli sviluppatori hanno registrato una perdita di qualità delle risposte al livello di 3,9 punti rispetto agli analoghi full-size. Tali risultati sono raggiunti grazie a una configurazione specifica degli esperti, che minimizza il carico computazionale mantenendo le capacità logiche del modello.

Il rilascio è orientato a scenari di utilizzo locale, dove sono critici il basso consumo di VRAM e l'alta velocità di risposta. Il modello è disponibile per il download nel repository del progetto, dove sono anche presenti le istruzioni per l'integrazione in pipeline di inferenza esistenti.