OpenVINO ha presentato una versione quantizzata del modello Gemma-4-E4B

Il team di OpenVINO ha rilasciato una versione sperimentale del modello Gemma-4-E4B-it, ottimizzato per funzionare su hardware locale. I pesi del modello sono stati compressi nel formato INT4 utilizzando la libreria NNCF, il che consente di ridurre notevolmente i requisiti di memoria operativa mantenendo le caratteristiche di base dell'architettura.

La conversione nel formato OpenVINO IR garantisce la compatibilità con le versioni dell'ambiente di runtime 2026.1.0 e successive. Per integrare il modello nei processi di lavoro, gli sviluppatori richiedono la libreria Optimum Intel versione 1.27.0 o successiva. Il processo di preparazione e compressione dei pesi ha richiesto circa 3 ore, durante le quali il modello ha ricevuto un punteggio di 8 punti secondo le metriche di prestazione interne.

L'utilizzo della quantizzazione INT4 è un approccio standard per eseguire LLM su processori consumer e grafica integrata. La traduzione del modello nel formato OpenVINO consente di utilizzare l'accelerazione hardware su dispositivi con architettura x86 e ARM, minimizzando i ritardi durante l'inferenza. Questo rilascio è rivolto agli sviluppatori che creano applicazioni AI locali con risorse computazionali limitate.

L'aggiornamento estende l'ecosistema degli strumenti per il deploy di modelli della famiglia Gemma in ambienti aziendali e utente. L'utilizzo di formati ottimizzati consente di eseguire moderni modelli linguistici su dispositivi che in precedenza non supportavano il lavoro con pesi pesanti nella rappresentazione originale.