Araştırmacılar StarCraft'ta AI'yi değerlendirmek için Brood War benchmark'ini sundu

Geliştiriciler, dil modellerinin StarCraft: Brood War stratejisi中的 oyun birimlerini yönetme becerilerini değerlendirmek için özel bir test kümesi olan Brood War Bench'i yayınladı. Test sırasında, ajanların taktik kararlar alması ve gerçek zamanlı olarak ordu eylemlerini koordine etme yeteneği kontrol edildi.

Testlerin galibi Codex Astra modeli oldu ve belirlenen senaryolarda %100 galibiyet oranı gösterdi. Benchmark'un genel sonucu 49 puan olarak belirlendi ve bunların gerçekleştirilmesi için 6 saat makine zamanı gerekti. Test, mevcut modellerin hala mikro kontrol ve stratejik planlama ile ciddi zorluklar yaşadığını gösterdi.

Sonuçlar, většinae katılımcıların başlangıç seviyesindeki oyuncular düzeyinde çalıştığını gösterdi. Örneğin, Grok modeli ordu dağıtımının temel mekanizmasını gerçekleştiremedi, Claude Fable ise yönetimdeki iddialı hedeflerine rağmen, komutları gerçekleştirirken kritik hatalarla karşılaştı. Her modelin performansı hakkında ayrıntılı bir analiz, Hacker News'teki tartışmada mevcuttur.

Bu tür ortamların oluşturulması, modellerin bilişsel yeteneklerinin dinamik koşullarda değerlendirilmesi için gerekli olup, yalnızca metin oluşturma değil, aynı zamanda sürekli eylem gerçekleştirme gerektirir. Statik testlerin aksine, Brood War Bench, AI'ın sürekli değişen oyun durumunu dikkate almasını ve zaman sınırı koşullarında kaynakları yönetmesini gerektirir.