OrcaBonsai-27B-Uncensored modeli ile başarısızlık kaldırma yöntemi sunulmuştur

Geliştiriciler, gerçek zamanlı olarak red yönü kaldırma (refusal-direction ablation) tekniğini kullanan OrcaBonsai-27B-Uncensored adlı sinir ağı uzmanlaşmış bir sürümünü sundu. Model, Ternary-Bonsai-2-27B mimarisine dayanmaktadır ve Apple Silicon çipli cihazlarda çalışmak için optimize edilmiştir.

Projenin teknik uygulaması MLX çerçevesine ve 2 bit'e kadar kuantizasyona dayanmaktadır. Ana özelliklerinden biri, artıkların bağlantılarında 129 müdahale noktası uygulamaktır. Bu yaklaşım, modelin davranışını yeniden eğitime veya orijinal ağırlıkların yeniden kuantizasyonuna gerek kalmadan "uçtan" değiştirmeyi sağlar.

Test sırasında sistem, dahili performans ölçütüne göre 30 puan elde etti ve bu değeri 3 saatlik hesaplama ile elde etti. Müdahale yönteminin kullanılması, modelin standart sınırlamalarını aşmayı sağlar ve bu, sınırlı bellek kapasitesine sahip tüketici donanımında çalışmak için kritiktir.

Verilen sürüm, Apple mimarisinde ağır modellerin yerel olarak çalıştırılma olanaklarını genişletmektedir. 2 bitlik kuantizasyonun dinamik müdahale ile birleştirilmesi, 27 milyarlık modelleri, standart FP16 veya INT8 sürümleri için gerekli olandan daha az miktarda bellek ile çalışan cihazlarda çalıştırma olanağı sağlar.