Spiritfather kuantum modeli Boulesis-26B-A4B'yi piyasaya sürdü

Geliştirici spiritfather, Boulesis-26B-A4B-i1-GGUF adlı yeni bir dil modeli sürümünü sundu - yerel çalıştırma için optimize edilmiştir. Sürüm, popüler kişisel bilgisayar çalışma ortamlarıyla uyumluluğu sağlayan GGUF formatında yapılmıştır.

Model, 26 milyar parametre ile çalışan bir mimariye dayanmaktadır ve A4B kuantalama yöntemini kullanmaktadır. i1-GGUF formatının kullanılması, metin oluşturma doğruluğunu korurken video belleği ve işletim belleği miktarına ilişkin gereksinimleri önemli ölçüde azaltmaya olanak tanır. Ön testlerin sonucunda model, 1 saat yükte metin oluşturma görevlerini yerine getirirken 11 yıldız puanı aldı ve kararlı bir çalışma gösterdi.

Araç, yerel çıkarım için güncel kütüphaneler ve ortamlarla tam olarak uyumlu çalışmaktadır, bunlar arasında llama.cpp, vLLM ve Ollama yer almaktadır. Bu, kullanıcıların modeli bulut API'leri veya özel sunucu kümeleri kullanmadan tüketici donanımında çalıştırmasına olanak tanır.

Verilen sürüm, ağır dil modellerinin erişimini yerel AI çözümleriyle çalışan geliştiriciler ve meraklılar için genişletmektedir. GGUF formatı, kullanıcıların belirli donanım yapılandırmalarına göre kuantalama parametrelerini esnek bir şekilde ayarlayabilmesini sağlayan, merkezden bağımsız ağların çalıştırılması için bir standart olarak kalmaktadır.