Prism ML ha presentato il modello Bonsai 2 27B con pesi 1,76-bit

L'azienda Prism ML ha rilasciato Bonsai 2 27B, una versione specializzata del modello linguistico che utilizza la tecnologia di quantizzazione ternaria. La novità raggiunge una compressione dei pesi fino a 1,76 bit, consentendo al modello di occupare solo 5,9 GB di spazio su disco.

I sviluppatori affermano che Bonsai 2 27B mantiene il 98,2% delle prestazioni del modello originale Qwen3.8 27B. Un grado di compressione così elevato consente una riduzione di 9 volte del volume di memoria rispetto all'architettura originale, mantenendo al contempo la funzionalità per la risoluzione di problemi di programmazione, visione artificiale e lavoro di agenti autonomi.

Le caratteristiche tecniche del modello sono orientate verso la distribuzione locale con alta larghezza di banda. L'utilizzo di pesi ternari riduce i requisiti delle risorse hardware, consentendo di eseguire il sistema su hardware consumer senza una perdita significativa di precisione delle risposte. Ciò rende il modello adatto per scenari in cui è critica l'efficienza energetica e la velocità di elaborazione dei dati in tempo reale.

La discussione degli aspetti tecnici dell'implementazione e dei benchmark è disponibile sulla piattaforma Hacker News. Questo rilascio continua la tendenza all'ottimizzazione dei pesanti LLM per il funzionamento su dispositivi locali, minimizzando la dipendenza dai calcoli cloud mantenendo al contempo un alto livello di capacità cognitive del modello.