Araştırmacılar LLM'deki hataları düzeltmek için CRN v2 modülünü sundu

Araştırmacılar grubu Dil Modelleri için Güvenli Hata Düzeltme adlı bir çalışma yayınladı ve dondurulmuş dil modellerinin yanıtlarındaki hataları düzeltmek için CRN v2 modülünü sundu. Sistem, temel mimarinin yeniden eğitilmesine gerek kalmadan logitleri ayarlamayı sağlar, bu da modelin orijinal becerelerinin kaybını önler.

CRN v2 modülü 34 milyon öğrenilebilen parametre içerir, bu da temel Gemma 4 E2B modelinin (4,65 milyar parametre) hacminin yalnızca %0,73üne karşılık gelir. Eğitim, 83.400 veri çiftinin kullanıldığı DPO (Direct Preference Optimization) yöntemiyle gerçekleştirildi. CEHRI sınavındaki testlerde sistem, temel modelin %53,3 hatalarını düzeltti ve aynı zamanda MMLU ve BoolQ benchmark'lerinde performansı korudu.

Yazarlar, benzer bir parametre bütçesine (6,6 milyon) sahip LoRA yöntemiyle çözümünü karşılaştırdı, bu da daha yüksek bir düzeltme doğruluğu (%83,3) gösteriyor, ancak modelin temel yeteneklerinde %30-75 oranında bir bozulmaya neden oluyor. CRN v2'nin başarısının anahtarı, modeli orijinal ağırlıklardan sapmaya karşı koruyan KL-çıkış katsayısının (lambda=0,1) kullanılmasaydı.

Çalışma, dondurulmuş bir temel ile birleştirilen dış bir düzeltme katmanının, LLM'nin güvenilirliğini artırmak için etkili bir yol olduğunu kanıtlıyor. Kaynak kodu ve model ağırlıkları, daha fazla test için CC BY 4.0 lisansı altında mevcuttur.