RedHatAI ha rilasciato una versione quantizzata del modello Muse-Glimmer-30B

Il team RedHatAI ha presentato una versione ottimizzata del modello linguistico Muse-Glimmer-30B, convertito nel formato FP4. Il rilascio è finalizzato a ridurre i requisiti hardware mantenendo le prestazioni del sistema.

Per la compressione dei pesi gli sviluppatori hanno utilizzato lo strumento LLM Compressor. In seguito all'applicazione della quantizzazione, i requisiti di memoria sono stati ridotti del 75% rispetto alla versione originale del modello. Ciò consente di eseguire il modello da 30 miliardi su attrezzature meno potenti di quelle richieste in precedenza.

La versione aggiornata è completamente compatibile con il motore vLLM, semplificando l'integrazione del modello nelle infrastrutture server ad alta carico di lavoro. Il modello ha ottenuto un punteggio di 18 punti nei test interni, completati in 1 ora di calcolo.

L'utilizzo del formato FP4 sta diventando lo standard per il deploy di grandi modelli su GPU consumer e aziendali. La riduzione del volume di memoria occupata consente di collocare i pesi del modello nella memoria video di minori dimensioni, aspetto critico per la scalabilità dei servizi AI negli ambienti cloud.