Sono stati pubblicati i risultati del test di confronto tra Alisa e GigaChat

Un ricercatore indipendente ha sottoposto a test approfonditi i modelli linguistici russi Alice, GigaChat Max e GigaChat Ultra, utilizzando cinque benchmark chiave. La valutazione ha incluso le metriche τ³, PRACT-120, MultiChallenge, WildBench e Arena-Hard, che consentono di misurare la qualità della generazione, le capacità logiche e il rispetto delle istruzioni.

Alice è stata testata tramite interfaccia web, così da riflettere l’esperienza reale degli utenti, compreso il passaggio automatico alle versioni alleggerite del modello in caso di carico elevato. GigaChat, invece, è stato testato tramite API ufficiale. Per ottenere dati rappresentativi è stato necessario utilizzare le risorse di tre account diversi, così da coprire i limiti di token richiesti per completare tutte le fasi dello studio.

I risultati evidenziano un divario nelle prestazioni dei modelli nell’affrontare compiti logici complessi. In particolare, con i benchmark Arena-Hard e WildBench i modelli hanno mostrato livelli diversi di resistenza a prompt complessi. L’uso di test standardizzati consente di valutare in modo obiettivo la posizione attuale delle soluzioni nazionali rispetto ai leader mondiali del settore.

Lo studio sottolinea l’importanza di integrare il benchmarking periodico nel ciclo di sviluppo dei prodotti di IA. Misurazioni di questo tipo consentono ai team di sviluppo di individuare i punti deboli nell’architettura dei modelli e di ottimizzarli con maggiore precisione per la risoluzione di problemi pratici, garantendo trasparenza sulle metriche di qualità per gli utenti finali.