Yandex açık dil modeli AliceAI-Foundation-80B-A3B-Base yayınladı

Yandex temel bir dil modeli AliceAI-Foundation-80B-A3B-Base sundu, bu model dış ağırlıklar kullanılmadan sıfırdan eğitildi. Model Apache 2.0 lisansı altında dağıtılıyor ve şirketin ekosistemindeki ajans yeteneklerinin geliştirilmesi için tasarlandı.

Modelin mimarisi 80 milyar parametre içerir, aktif parametrelerin sayısı ise yaklaşık 11 milyar civarındadır. İç testlerde yeni model, faktografik bilgiler, matematiksel hesaplamalar, programlama becerileri ve uzun bağlamla çalışma açısından önceki kapalı sürüm Alice AI LLM 235B'yi geride bıraktı. Geliştiriciler, modelin IMO AnswerBench ve LiveCodeBench benchmark'lerinde DeepSeek-V4-Flash-Base ve Nemotron-3-Super'e kıyasla daha yüksek sonuçlar gösterdiğini belirtiyorlar.

Eğitim süreci yaklaşık altı ay sürdü ve güncellenmiş bir veri kümesinin kullanılması, yeniden tasarlanan mimari çözümler ve optimize edilmiş hiperparametreler içeriyordu. Her aşamanın etkinliğini test etmek için ekip, her biri 2 trilyon token olan veri kümeleri üzerinde birkaç model sürümünü eğitti. Tam teknik rapor, veri hazırlama.pipeline'lerini ve değerlendirme protokollerini tanımlayan, ağırlıklarla birlikte yayınlandı.

Şirket modelle birlikte iki özel benchmark'u da açıkladı — WikiWebFacts ve HardMultiQA. Bu araçlar, Rusça bağlamında cevapların kalitesini değerlendirmeye odaklanıyor. Bu kaynakların yayımlanması, otomatik değerlendirme zorlukları ve sonuçların promt'lara bağlı olması dikkate alınarak, ön eğitimlerin kalitesini ölçme yaklaşımlarının standardizasyonuna yönelikti.

AliceAI-Foundation-80B-A3B-Base'in yayınlanması, Yandex'in tek bir akıl yürütme modeli oluşturma stratejisinin bir parçasıdır. Elde edilen sonuçlar ve ölçekleme yasaları alanında biriken deneyim, Alice'in ajans işlevlerini daha da genişletmek için kullanılacaktır.