Yandex'in sanal asistanı Alice ve GigaChat'in karşılaştırmalı test sonuçları yayınlandı

Bağımsız bir araştırmacı, Rus dil modelleri Alice, GigaChat Max ve GigaChat Ultra’yı beş temel kıyaslama testiyle kapsamlı biçimde değerlendirdi. Testler arasında; üretim kalitesini, mantıksal yetenekleri ve talimatlara uyumu ölçmeye yarayan τ³, PRAKT-120, MultiChallenge, WildBench ve Arena-Hard metrikleri yer aldı.

Alice, otomatik olarak daha hafif model sürümlerine geçişin yoğun kullanım sırasında gerçekleşmesi de dahil olmak üzere gerçek kullanıcı deneyimini yansıtacak şekilde web arayüzü üzerinden test edildi. GigaChat ise resmî API aracılığıyla değerlendirildi. Araştırmanın tüm aşamalarını tamamlamak için gereken token limitlerini karşılamak ve temsili veriler elde etmek amacıyla üç farklı hesaptaki kaynaklardan yararlanıldı.

Sonuçlar, karmaşık mantık görevlerinde modellerin performansları arasında fark olduğunu gösteriyor. Özellikle Arena-Hard ve WildBench testlerinde modeller, zorlayıcı prompt’lara karşı farklı düzeylerde dayanıklılık sergiledi. Standartlaştırılmış testler, yerli ürünlerin sektörün küresel liderleri karşısındaki mevcut konumunu nesnel biçimde değerlendirmeye olanak tanıyor.

Bu araştırma, AI ürünlerinin geliştirme döngüsüne düzenli kıyaslama testleri eklemenin önemini vurguluyor. Bu tür ölçümler, geliştirme ekiplerinin model mimarilerindeki zayıf noktaları tespit etmesine ve modelleri uygulamalı görevleri çözmek üzere daha hassas biçimde ayarlamasına yardımcı olurken, kalite metriklerinin son kullanıcılar açısından şeffaf olmasını da sağlıyor.