Viene presentato il modello OrcaBonsai-27B-Uncensored con il metodo di rimozione degli errori

I sviluppatori hanno presentato OrcaBonsai-27B-Uncensored — una versione specializzata della rete neurale che utilizza la tecnica di rimozione delle direzioni di rifiuto (refusal-direction ablation) in tempo reale. Il modello si basa sull'architettura Ternary-Bonsai-2-27B e ottimizzato per funzionare su dispositivi con chip Apple Silicon.

L'implementazione tecnica del progetto si basa sul framework MLX e sulla quantizzazione fino a 2 bit. La caratteristica chiave è l'applicazione di 129 punti di intervento nelle connessioni residue (residual intervention sites). Questo approccio consente di modificare il comportamento del modello "in volo" senza la necessità di riaddestramento o di riquantizzazione dei pesi originali.

Durante il test, il sistema ha dimostrato un risultato di 30 punti secondo la metrica di prestazione interna, raggiungendo questo livello in 3 ore di calcolo. L'utilizzo del metodo di intervento consente di aggirare le limitazioni standard del modello, mantenendo al contempo l'integrità dei pesi di base, che è critico per il funzionamento su "hardware" consumer con memoria limitata.

Questa release estende le possibilità di esecuzione locale di modelli pesanti sull'architettura Apple. L'utilizzo della quantizzazione a 2 bit in combinazione con l'intervento dinamico nel processo di inferenza consente di eseguire modelli da 27 miliardi di parametri su dispositivi con meno memoria operativa rispetto a quanto richiesto per le versioni standard FP16 o INT8.