Sunulan openPangu-2.0-Pro dil modeli 505 milyar parametreye sahiptir

Geliştiriciler, openPangu-2.0-Pro adlı yeni bir büyük dil modelini sundu - Mixture-of-Experts (MoE) mimarisine dayalı olarak oluşturulan bir sistem. Sistem 505 milyar parametre içerir ve Ascend NPU işlemciler temelinde hesaplamalar kullanılarak eğitilmiştir.

Model, 512 bin token hacminde bir bağlam penceresini destekler. Teknik uygulamaya MLA (Multi-Head Latent Attention) mekanizmaları ve 4 akışlı mHC mimarisi dahildir. Geliştiriciler, eğitim sürecini optimize etmek için Muon algoritmasını uygulamışlardır, bu da böyle büyük miktarda veri ile çalışırken ağırlık değerlerinin stabilitesini ve yakınsaklık hızını artırmıştır.

İç testlerin sonuçlarına göre, yenilik, özel benchmark'lerde "düşünmeyen" (non-thinking) modellerin versiyonları üzerinde üstünlük göstermektedir. Özellikle HMMT ve LiveCodeBench görevlerinde doğrulukta bir artış kaydedilmiştir, bu da karmaşık mantıksal ve programlama görevlerinin çözümünde seçilen mimarinin etkinliğini doğrulamaktadır.

Modelin sürümü, uzun bağlamlarla çalışma olanaklarını ve yüksek yüklemeli hesaplamaları genişletmeye yöneliktir. Kaynak verileri ve ağırlıklar, Hugging Face platformunda incelenebilir durumdadır, burada model zaten özel kullanım senaryolarında performansı için topluluktan ilk değerlendirmeleri almıştır.