Prism ML modeli Bonsai 2 27B ile 1.76-bit ağırlıkları sundu

Şirket Prism ML Bonsai 2 27B'yi çıkardı - ternary kuantumlama teknolojisini kullanan dil modelinin özel bir sürümü. Yenilik, ağırlıkların 1.76 bit'e kadar sıkıştırılmasını sağlar, bu da modelin yalnızca 5.9 GB disk alanı kaplamasını sağlar.

Geliştiriciler, Bonsai 2 27B'nin orijinal Qwen3.8 27B modelinin %98.2'lik performansını koruduğunu belirtiyorlar. Bu kadar yüksek bir sıkıştırma derecesi, orijinal mimari ile karşılaştırıldığında bellek miktarının 9 kat azaltılmasını sağlar ve programlama, bilgisayar görüşü ve otonom ajanlar gibi görevleri çözmek için işlevselliği korur.

Modelin teknik özellikleri, yüksek bant genişliği ile yerel dağıtım için optimize edilmiştir. Ternary ağırlıkların kullanılması, donanım kaynaklarına olan talebi azaltır ve bu da sistemin tüketici ekipmanında önemli bir doğruluk kaybı olmadan çalıştırılmasına olanak tanır. Bu, enerji verimliliği ve gerçek zamanlı veri işleme hızı kritik öneme sahip olan senaryolar için modeli uygun hale getirir.

Uygulamanın teknik yönleri ve benchmark'ları Hacker News platformunda bulunabilir. Bu sürüm, ağır LLM'lerin yerel cihazlarda çalıştırılması için optimize edilmeye devam eden trendi sürdürür, bulut hesaplama bağımlılığını en aza indirirken modelin bilişsel yeteneklerinin yüksek seviyesini korur.