Çıkış yapılan kuantize edilmiş model sürümü Huihui-gemma-3n-E4B-it

Geliştiriciler, Huihui-gemma-3n-E4B-it-abliterated-GGUF adlı tüketici ekipmanlarında yerel olarak çalıştırılmak üzere hazırlanmış dil modelinin optimize edilmiş bir sürümünü sundu. Sürüm, modeli sınırlı video belleği olan cihazlarda kullanmayı mümkün kılan GGUF formatındaki kuantize dosyalar kümesini içerir.

Model, cevapları kısıtlamalardan kurtulmayı amaçlayan "abliteration" prosedüründen geçti, bu da onu özel görevler için daha esnek hale getirir. Dosyalar çeşitli sıkıştırma seviyelerinde mevcuttur, bu da nesne oluşturma doğruluğu ile RAM veya VRAM tüketimi arasında optimal bir denge kurulmasını sağlar.

Modelle çalışma araç seti, yerel çıkarım için popüler ortamları içerir, chẳng hạn như llama.cpp ve LM Studio. GGUF formatının kullanımı, modelin hem CPU hem de CUDA veya Metal desteğine sahip GPU üzerinde çalıştırılmasına olanak tanıyan çapraz platform uyumluluğunu sağlar.

Kuantizasyon, hesaplamalı güce olan gereksinimleri önemli ölçüde azaltırken, cevapların kalitesinde önemli bir kayıp olmadan bunu sağlar. Bu çözüm, yerel olarak sinir ağlarını çalıştırmayı tercih eden, böylece veri gizliliği ve bulut API'lerine bağımlılığın olmamasını sağlayan kullanıcılar için tasarlanmıştır.