Bench Labs kompakt Cagliostro-v3 modelini piyasaya sürdü

Bench Labs şirketi, sınırlı hesaplama kaynaklarıyla çalışmak için optimize edilmiş yeni bir decoder-only modeli olan Cagliostro-v3'ü sundu. Sistem mimarisi 146 milyon parametre içerir, bu da onu kompakt dil modelleri (SLM) kategorisine yerleştirir.

Modelin ön eğitimi 75 milyar token hacmindeki bir veri kümesinde gerçekleştirildi. Şu anda 72,7 milyar token üzerinde eğitim tamamlanmıştır. Geliştiriciler modele Open SLM Index adı verilen bir endeks verdiler, bu 26,27'dir ve bu, modelin benzer çözümlerle karşılaştırıldığında etkinliğini değerlendirmeye olanak tanır.

Cagliostro-v3, sinir ağlarının matematiksel yeteneklerini test etmeye odaklanan ArithMark-3 benchmark testinde liderlik gösterdi. Bununla birlikte, PIQA gibi mantıksal düşünce ve sağduyu testlerinde, model kendi sınıfı için beklenen performansın altında sonuçlar gösteriyor.

Modelin yayınlanması, özel görevleri ağır altyapı çözümlerini dağıtmaya gerek kalmadan gerçekleştirebilen hafif sistemler segmentinin geliştirme amacını taşıyor. Modelin kaynak kodu ve ağırlıkları already Hugging Face platformundaki depoda indirilmeye hazır.