È stata rilasciata la versione quantizzata del modello Huihui-gemma-3n-E4B-it

I sviluppatori hanno presentato Huihui-gemma-3n-E4B-it-abliterated-GGUF — una versione ottimizzata del modello linguistico, preparata per l'esecuzione locale su attrezzature consumer. Il rilascio include un set di file quantizzati nel formato GGUF, che consente di utilizzare il modello su dispositivi con una quantità limitata di memoria video.

Questa versione del modello ha subito la procedura di "abliteration", finalizzata a rimuovere le limitazioni nelle risposte, rendendola più flessibile per compiti specifici. I file sono disponibili in vari livelli di compressione, il che consente di scegliere un equilibrio ottimale tra precisione di generazione e consumo di risorse RAM o VRAM.

L'strumentario per lavorare con il modello include ambienti di lavoro popolari per l'inferenza locale, come llama.cpp e LM Studio. L'utilizzo del formato GGUF garantisce la compatibilità cross-piattaforma, consentendo di eseguire il modello sia su CPU che su GPU con supporto CUDA o Metal.

La quantizzazione consente di ridurre notevolmente i requisiti di potenza di calcolo senza una perdita significativa della qualità delle risposte. Questa soluzione è orientata agli utenti che preferiscono eseguire le reti neurali in locale, garantendo la riservatezza dei dati e l'assenza di dipendenza dagli API cloud.