Sunulan sentetik veri kümesi QVAC Genesis III STEM modelleri için eğitim amaçlıdır

Araştırmacılar, QVAC Genesis III adlı büyük sentetik bir veri kümesini yayınladı - STEM alanında dil modellerinin etkili bir şekilde eğitilmesi için tasarlanmış bir veri kümesi. Küme, 19 farklı domaine yayılan ve varyasyon gösteren zorluk seviyeleri ve eğitim stilleri ile 191,43 milyar token içerir.

Veri kümesi, "öğretmen"den "öğrenci"ye bilgi damıtma temelinde çift yönlü bir üretim stratejisi kullanarak oluşturulmuştur. Sistem, kompakt modellerin hatalarını analiz eder ve bunları düzeltici açıklamalara dönüştürür ve başarılı yanıtları, tüm seçeneklere karşı karşıt akıl yürütme ile tamamlar. Veri kalitesini değerlendirmek için yazarlar, yanıtların doğruluğunu ve geçerliliğini serbest formatlı olarak izleyen LLM-as-a-parser protokolünü uygulamıştır.

Sıfırdan eğitilen 1,7 milyar parametre ile test edilen QVAC Genesis III, Cosmopedia-v2 açık veri kümesiyle karşılaştırıldığında bir avantaj göstermiştir. Benchmark'lerdeki performans artışı, ARC-E'de %28,57 ve ARC-C'de %21,35 olarak gerçekleşirken, geçerli yanıt oranı %99,45 olarak gerçekleşmiştir.

Araştırma materyalleri ve verileri Creative Commons Attribution 4.0 lisansı altında dağıtılır. Geliştirme, token bütçesi ve hesaplama kaynaklarının kısıtildiği çevre cihazlarında çalışmak için kompakt modellerin eğitimini optimize etmeye yöneliktir.