Multiverse Computing kuantumlaştırma yöntemi Quantization-Aware Healing'i sundu

Şirket Multiverse Computing Quantization-Aware Healing (QAH) teknolojisinin tanıtımını yaptı, bu teknoloji sinir ağlarını 4 bite kadar sıkıştırma olanağı sunuyor ve bu sırada doğruluk kaybı yaşamıyor. Yöntem, tam boyutlu modellerden düşük hassasiyetli formatlara geçişte genellikle ortaya çıkan ağırlık bozulmasını gidermeye yöneliktir.

Llama-3-8B mimarisinde test edilen QAH yöntemi, orijinal FP16 formatındaki modeli aşan sonuçlar gösterdi. 4 bitlik kuantizasyon kullanıldığında, model WikiText ve C4 veri setlerinde yüksek perplexity değerini korurken, video belleği kullanımı 4 kat azaltıldı. Geliştiriciler, algoritmanın standart sıkıştırma yöntemlerinde genellikle "atılan" ağırlık bilgilerini etkili bir şekilde geri yüklediğini belirtiyorlar.

Teknoloji, kuantizasyon sırasında ortaya çıkan yuvarlama hatalarını telafi etmek için modelin eğitildiği yinelemeli bir süreç üzerine kuruludur. Klasik Post-Training Quantization (PTQ)'den farklı olarak, QAH kuantizasyon için minimum veri gerektirir, bu da kapalı ağırlıklara veya sınırlı eğitim veri kümesine sahip modellere uygulanmasına olanak tanır.

QAH'nin uygulanması, büyük dil modellerinin sınırlı VRAM ile çalışan tüketici donanımında çalıştırılabilmesini sağlar ve bu sırada üretim kalitesinden ödün verilmesine gerek kalmaz. Yöntem, mevcut sıkıştırma işlemlerine entegre edilmeye hazır bir halde sunuluyor ve periferik cihazlardaki AI çözümlerinin dağıtımı için kritik olan çıkarım hızı ile yanıt doğruluğu arasında bir denge sağlıyor.