IFM ha rilasciato un modello quantizzato K2-Horizon-7B-FP8

Il team di sviluppatori ha presentato K2-Horizon-7B-FP8 — una nuova versione del modello linguistico con architettura 7B, ottimizzato per funzionare nel formato FP8. Il rilascio è orientato alla riduzione dei requisiti di memoria video mantenendo la precisione dei calcoli caratteristica del formato BF16.

La caratteristica chiave del modello è il supporto alla finestra di contesto di volume 512K token. L'utilizzo della quantizzazione FP8 consente di accelerare notevolmente il processo di inferenza sull'hardware che supporta questo tipo di dati, mantenendo al contempo la struttura densa dei pesi del modello.

Durante i test interni, il modello ha dimostrato un'elevata prestazione, ottenendo un punteggio di 10 punti secondo la metrica interna degli sviluppatori in un tempo di elaborazione di 1 ora. Il modello è disponibile per il download sulla piattaforma Hugging Face e è destinato alla distribuzione in ambienti con risorse GPU limitate.

Il passaggio al formato FP8 sta diventando lo standard per l'ottimizzazione dei moderni LLM, consentendo di eseguire contesti più lunghi su hardware consumer e server senza una perdita significativa della qualità della generazione. Questo rilascio estende l'insieme di strumenti per gli sviluppatori che lavorano con sistemi di elaborazione del testo ad alta carico di lavoro.