Baidu, ERNIE 5.5 Flash Base modelini tanıttı

Baidu, yeni dil modeli ERNIE 5.5 Flash Base'i piyasaya sürdü. Yeniliğin mimarisi, toplam 280 milyar parametre hacmine sahip, token başına 14 milyar aktif parametre içeren seyrek bir MoE (Mixture-of-Experts) modelidir.

Model, 33,5 trilyon token'lık bir veri kümesi üzerinde ön eğitimden geçirilmiştir. Sürümün temel özelliklerinden biri, 1 milyon token'a kadar bağlam penceresi desteğidir. Geliştiricilere göre bu parametreler, ince ayar ve çıkarım görevlerinin çeşitli kullanım senaryolarında yüksek verimlilik sağlamaktadır.

Model hakkındaki teknik detaylara ve belgelere resmi ERNIE 5.5 Flash Base sayfasından ulaşılabilir. Bu sürüm, büyük bir modelin performansı ile seyrek mimari sayesinde elde edilen hız arasında bir denge arayan geliştiricilere yöneliktir.

14 milyar aktif parametrenin kullanılması, yüz milyarlarca ağırlığa sahip modellere özgü geniş yetenekleri korurken hesaplama maliyetlerini önemli ölçüde düşürmektedir. Bu çözüm, uzun bağlamların gerçek zamanlı işlenmesini gerektiren yüksek yüklü sistemlere gelişmiş dil özelliklerinin entegrasyonunu kolaylaştırmaktadır.