Ricercatori hanno presentato un benchmark per Brood War per valutare l'intelligenza artificiale in StarCraft

I sviluppatori hanno pubblicato Brood War Bench — un set di test specializzato per valutare le capacità delle modelli linguistici nel gestire unità di gioco nella strategia StarCraft: Brood War. Durante il test, è stata verificata la capacità degli agenti di prendere decisioni tattiche e coordinare le azioni dell'esercito in tempo reale.

Il vincitore del test è stato il modello Codex Astra, che ha dimostrato un 100% di vincite all'interno degli scenari definiti. Il risultato complessivo del benchmark è stato di 49 punti, che ha richiesto 6 ore di tempo di macchina per essere completato. Il test ha mostrato che i modelli attuali incontrano ancora serie difficoltà con il microcontrollo e la pianificazione strategica.

I risultati hanno mostrato che la maggior parte dei partecipanti lavora al livello di giocatori principianti. Ad esempio, il modello Grok non è stato in grado di implementare la meccanica di base del dispiegamento dell'esercito, mentre Claude Fable, nonostante le ambizioni dichiarate nella gestione, ha incontrato errori critici nell'esecuzione dei comandi. Un'analisi dettagliata delle prestazioni di ogni modello è disponibile nella discussione su Hacker News.

La creazione di ambienti simili è necessaria per valutare le capacità cognitive dei modelli in condizioni dinamiche, dove è richiesta non solo la generazione di testo, ma anche l'esecuzione coerente di azioni. A differenza dei test statici, Brood War Bench richiede all'AI di considerare la situazione di gioco in costante cambiamento e la gestione delle risorse in condizioni di limite di tempo rigoroso.