Geliştiriciler Murasaki-Backup dil modelini sundu

Hugging Face platformunda yeni dil modeli Murasaki-Backup yayınlandı. Model, yerel kullanım için tasarlanmış ve sınırlı donanım kaynaklarına sahip kişisel bilgisayarlarda çalıştırılabiliyor.

Geliştiriciler, popüler çalışma ortamlarıyla tam uyumluluk sağladı, bunlar arasında llama.cpp ve Ollama de bulunuyor. Kullanıcılar, modeli LM Studio, Jan ve Pi gibi yerel uygulamalarla entegre ederek bulut API'lerine başvurmadan metin işleme görevlerini gerçekleştirebiliyorlar.

İşlemcinin ve video belleğinin kullanımını optimize etmek için model IQ4_XS formatında dağıtılıyor. Bu kuantumlanmış sürüm, sinir ağını tüketici ekipmanında çalıştırırken, yanıt oluşturma performansı ve doğruluğu arasında bir denge korumasına olanak tanıyor.

Modelin yayınlanması, özel veri işleme araçları ekosistemini genişletmeye yönelikti. IQ4_XS kuantumlamasının kullanılması, Murasaki-Backup'i merkezileştirilmiş hizmetler yerine yerel çıkarımı tercih eden geniş bir kullanıcı kitlesine ulaşılabilir kılıyor.