LLM'leri üç kat sıkıştırmak için SPECTRA çerçevesi tanıtıldı

Geliştiriciler, büyük dil modellerini 3 kat küçültmeyi sağlayan ve doğruluk kaybını neredeyse fark edilmeyecek düzeye indiren yeni bir sıkıştırma çerçevesi olan SPECTRA'yı tanıttı. Teknoloji, modellerin sınırlı donanım kaynaklarına sahip cihazlarda çalışmasını optimize etmeye odaklanıyor.

Yöntemin temel özelliği, veri kalibrasyonuna ihtiyaç duymamasıdır. Bu çözüm sayesinde, 7 milyar parametreli standart modeller 4 GB video belleğine (VRAM) sahip donanımlarda çalıştırılabilir. Üstelik sıkıştırma süreci ve algoritmanın çalışması 50 MB'tan daha az RAM gerektirir, bu da onu sınıfındaki en hafif araçlardan biri yapar.

Geliştiriciler, bu yaklaşımın modern LLM'lerin yerel olarak çalıştırılması için giriş engelini önemli ölçüde düşürdüğünü belirtiyor. Bu durum, bellek kapasitesinin kritik bir kısıt olduğu tüketici elektroniği ve mobil sistemlere güçlü dil modellerinin entegre edilmesi için fırsatlar yaratıyor. Teknik detaylar ve test sonuçlarına ekibin resmi araştırma raporundan ulaşılabilir.