È stata rilasciata la versione quantizzata del modello MiniMax-M3

Gli sviluppatori hanno presentato MiniMax-M3-uncensored-GGUF — una versione non censurata di un grande modello linguistico, ottimizzato per l'esecuzione tramite la libreria llama.cpp. L'architettura originale MiniMax-M3 possiede un volume totale di parametri di 427B, che richiede risorse computazionali significative per il deploy locale.

Per garantire il funzionamento su hardware consumer e server, il modello è stato convertito nel formato GGUF utilizzando diversi livelli di quantizzazione. Gli utenti hanno accesso a opzioni di compressione da IQ2_S a Q8_0. La versione più compatta della gamma è la versione IQ4_XS, il cui dimensione è di 189,13 GiB.

Il processo di quantizzazione ha permesso di adattare i pesi del modello per un utilizzo efficiente della memoria operativa, mantenendo la logica di funzionamento originale. L'utilizzo del formato GGUF garantisce la compatibilità con le versioni attuali di llama.cpp, consentendo di distribuire il carico di lavoro tra CPU e GPU in base alle capacità hardware disponibili.

Questa release è orientata verso ricercatori ed appassionati che richiedono l'accesso alle risposte non filtrate del modello con parametri 427B in un ambiente locale. La presenza di un'ampia gamma di versioni quantizzate consente di scegliere un equilibrio ottimale tra precisione di generazione e volume di memoria video o RAM occupata.