Kuantalı Ternary-Bonsai-2-27B-Abliterated modeli yayınlandı

Geliştiriciler, Ternary-Bonsai-2-27B-Abliterated adlı 27 milyar parametreli özel bir model sürümünü sundu, bu sürüm minimum hata seviyesiyle çalışmak için optimize edilmiştir. Sürüm, yüksek doğruluk gerektiren ve aşırı sansürleme olmadan sorguları gerçekleştirmesi gereken kullanıcılar için tasarlanmıştır.

Derlemenin ana özelliği, yalnızca 1.0% olan son derece düşük hata oranıdır ve "aşırı red" (over-refusal) yoktur. Modelin hazırlanması sırasında, istenmeyen davranış kısıtlamalarını ortadan kaldırmaya yönelik "abliterasyon" (abliteration) prosedürü gerçekleştirilmiştir. Ağırlık değişikliği maliyeti optimizasyon sırasında 0.071% olarak hesaplanmıştır, bu da önemli sıkıştırma sırasında orijinal sinir ağı özelliklerini korumasına olanak tanır.

Model, GGUF formatında ve PTQ1_0 kuantizasyon yöntemi kullanılarak sunulmuştur. Bu sürümün çalıştırılması için, PrismML tarafından sağlanan özel bir llama.cpp çatalı gerekir. Teknik uygulama, tüketici ekipmanlarında yüksek performans sağlar ve dahili testlerde 2 saatlik veri işleme için 13 puan değerlendirmesi elde eder.

Bu sürüm, büyük dil modellerinin yerel olarak çalıştırılma olanaklarını genişletir ve katı güvenlik filtreli standart ağırlıklara bir alternatif sunar. GGUF formatının kullanılması, mevcut yerel yürütme ortamlarına entegrasyonu kolaylaştırır ve 27 milyarlık mimariyle çalışırken video belleği ve sistem belleği yükünü etkili bir şekilde dağıtmayı sağlar.