Araştırmacılar ternary LLM'ler için BITCOS sıkıştırma yöntemini sundu

Araştırmacılar BITCOS adlı yeni bir adaptif veri yerleştirme yöntemini sundu, bu yöntem ternary dil modelleri için standardın 1,58 bitlik sıkıştırma bariyerini aşmayı sağlar. Beş triti bir bayta paketleme yöntemine kıyasla, her bir ağırlık için 1,625 bit gerektiren geleneksel yöntemden farklı olarak, yeni teknoloji, sinir ağlarındaki ağırlıklardaki gerçek karakter dağılımını dikkate alır.

29 ternary modelin analizi, ağırlıklardaki sıfır ağırlık oranının %51,5'e ulaştığını gösterdi. BITCOS yöntemi, sıfır olmayan değerlerin varlığını gösteren yoğun bir bit haritası ile birlikte kompakt bir işaret vektörü kullanır. Bu, en seyrektirilmiş modeller için ağırlık başına 1,485 bit gibi bir bellek hacmine ulaşılmasını sağlar, bu da 29 test edilen mimarinin 26'sında standart yaklaşımlardan daha verimlidir.

Geliştiriciler, AVX-512, AVX2 ve Intel Xe2 grafik işlemcilerindeki talimatlar için optimize edilmiş paket çıkarma dizilerini uygulamıştır. Bu formatın uygulanması, mevcut endüstriyel çözümlerle karşılaştırıldığında matris-vektör çarpımının performansı %1,28 oranında artırmaktadır.

Beş farklı donanım platformunda, müşteri ve sunucu işlemciler de dahil olmak üzere, testler CPU'da %1,18 ve GPU'da %1,27 oranında bir kod çözme bant genişliği artışı göstermiştir. BITCOS'un kullanılması, sınırlı ağırlık doğruluğu olan modellerin dağıtımı sırasında bellek kaynaklarının daha verimli kullanılmasını sağlar.

Gerçekleştirdikleri bu geliştirme, parametre depolama yoğunluğunun kritik olduğu sistemler için çıkarımı optimize eder. Adaptif sıkıştırmaya geçmek, bellek bant genişliği gereksinimlerini azaltır, bu da entegre grafik çekirdeklerinden yüksek performanslı sunucu hızlandırıcılara kadar geniş bir donanım yelpazesi üzerinde LLM'lerin çalışmasını hızlandırır.