OpenVINO kuantum sürümünü Gemma-4-E4B modeliyle sundu

Ekibi OpenVINO yerel donanım üzerinde çalışmak için optimize edilmiş deneysel bir Gemma-4-E4B-it modeli sürümü yayınladı. Model ağırlıkları NNCF kütüphanesini kullanarak INT4 formatına sıkıştırıldı, bu da temel mimari özelliklerini korurken operatif bellek gereksinimlerini önemli ölçüde azaltmaya olanak tanır.

OpenVINO IR formatına dönüştürme, 2026.1.0 ve üstü çalışma zamanı sürümleriyle uyumluluğu sağlar. Geliştiricilerin iş akışlarına entegre etmek için en az 1.27.0 sürümünde Optimum Intel kütüphanesine ihtiyacı vardır. Ağırlık hazırlama ve sıkıştırma süreci yaklaşık 3 saat sürdü ve bu süre zarfında model iç performans metriklerine göre 8 puan aldı.

INT4 kuantalaması, tüketici işlemcileri ve entegre grafiklerde LLM çalıştırmak için standart bir yaklaşımdır. Modeli OpenVINO formatına dönüştürmek, x86 ve ARM mimarili cihazlarda donanım hızlandırmasını kullanmayı sağlar ve çıkarım sırasında gecikmeleri en aza indirir. Bu sürüm, sınırlı hesaplama kaynaklarına sahip yerel AI uygulamaları geliştiren geliştiricilere yöneliktir.

Güncelleme, Gemma ailesinin modellerini kurumsal ve kullanıcı ortamlarında dağıtmak için araç setinin ekosistemini genişletir. Optimized formatların kullanımı, daha önce orijinal temsildeki ağır ağırlıklarla çalışmayı desteklemeyen cihazlarda modern dil modellerini çalıştırmayı sağlar.