Yandex MoE modeli AliceAI-Foundation-80B-A3B-Base'i tanıttı

Yandex şirketi, Mixture-of-Experts (MoE) mimarisine sahip AliceAI-Foundation-80B-A3B-Base adlı yeni bir dil modelini yayınladı. Sürüm, büyük veri hacimleri ve özel görevlerle çalışma üzerinde odaklanıyor.

Model, toplam 80 milyar parametreye sahiptir ve her bir token için aktif parametre sayısı 3 milyardır. Bu yapılandırma, benzer boyutlardaki yoğun modellere kıyasla çıkarım için azaltılmış hesaplama maliyetlerinde yüksek performansın korunmasına olanak tanır.

Mimarinin temel özelliği, 262 bin token hacminde bir bağlam penceresi desteğidir. Bu, sistemlerin uzun belgeleri ve karmaşık yazılım projelerini tüm olarak işleyebilmesini sağlar ve metni agresif bir şekilde parçalara ayırmaya gerek kalmaz.

İç testlerde model, Rusça dilinde gerçeklerle çalışma, matematiksel hesaplamalar ve programlama kodu oluşturma değerlendiren testlerde yüksek performans gösterdi. Geliştiriciler, A3B mimarisinin bilgi derinliği ve yanıt hızında bir denge sağladığını belirtiyorlar.

Verilen modelin yayınlanması, Rusça içerikle derin entegrasyon gerektiren yüksek yüklenen AI sistemleri oluşturmak için araç setini genişletiyor. Kaynak ağırlıkları ve belgeler, Hugging Face platformu aracılığıyla dış projelerde tanıtım ve entegrasyon için alreadya kullanılabilir durumdadır.