發佈了對阿麗莎和GigaChat進行比較測試的結果

一位獨立研究人員對俄羅斯語言模型阿莉莎、GigaChat Max和GigaChat Ultra進行了全面測試，共有五個關鍵的基準測試。測試項目包括τ³、PRAKT-120、MultiChallenge、WildBench和Arena-Hard等，能夠評估生成質量、邏輯能力和遵循指令的能力。

阿莉莎的測試是通過網頁界面進行的，反映了真實的用戶體驗，包括在高負載時自動切換到簡化版本的模型。另一方面，GigaChat是通過官方API進行測試的。為了獲得代表性的數據，需要使用三個不同的帳戶來覆蓋令牌限制，以完成研究的所有階段。

結果顯示，在執行複雜邏輯任務時，模型之間的性能存在差距。特別是在Arena-Hard和WildBench基準測試中，模型展示了不同程度的對複雜提示的穩定性。使用標準化測試可以客觀地評估國內開發的語言模型相對於全球領先企業的現狀。

這項研究強調了在AI產品開發周期中實施定期基準測試的重要性。這種測量可以讓開發團隊找出模型架構中的弱點，並更準確地調整模型以解決實際問題，同時為終端用戶提供質量指標的透明度。