È stata rilasciata il modello quantizzato Ternary-Bonsai-2-27B-Abliterated

Gli sviluppatori hanno presentato Ternary-Bonsai-2-27B-Abliterated — una versione specializzata del modello con 27 miliardi di parametri, ottimizzata per funzionare con un livello di errore minimo. Il rilascio è orientato agli utenti che richiedono un'elevata precisione nell'esecuzione delle query senza censura eccessiva.

La caratteristica principale di questa build è un tasso di errore estremamente basso, pari a solo 1.0%, con l'assenza totale di "soprarefusioni" (over-refusal). Durante la preparazione del modello, è stata eseguita una procedura di "abliterazione" (abliteration) finalizzata all'eliminazione delle restrizioni di comportamento indesiderate. Il costo della modifica dei pesi durante l'ottimizzazione è stato di 0.071%, il che consente di mantenere le caratteristiche originali della rete neurale durante una compressione significativa.

Il modello è presentato nel formato GGUF utilizzando il metodo di quantizzazione PTQ1_0. Per avviare questa versione, è necessario utilizzare un fork specializzato di llama.cpp da PrismML. L'implementazione tecnica garantisce un'elevata prestazione su hardware consumer, raggiungendo una valutazione di 13 punti nei test interni in 2 ore di elaborazione dei dati.

Questo rilascio estende le possibilità di esecuzione locale di grandi modelli linguistici, offrendo un'alternativa ai pesi standard con filtri di sicurezza rigidi. L'utilizzo del formato GGUF semplifica l'integrazione in ambienti di esecuzione locali esistenti, consentendo di distribuire efficacemente il carico di lavoro sulla memoria video e sulla memoria operativa del sistema quando si lavora con l'architettura da 27 miliardi.