Maraquita II ha superato i test di Terminal-Bench 4 e OSWorld 2

Il team di sviluppo di Marakujja AI ha presentato i risultati dei test del proprio sistema agentico negli ambienti specializzati Terminal-Bench 4 e OSWorld 2. Questi benchmark valutano la capacità degli agenti IA di svolgere attività complesse in un sistema operativo reale, tra cui l’uso della console, la gestione di pipeline di file e l’automazione dei processi aziendali.

Durante i test, l’infrastruttura agentica ha dimostrato un elevato grado di autonomia nello svolgimento di attività pratiche. A differenza dei chatbot standard, il sistema sottoposto ai test doveva fare più che generare testo: doveva creare artefatti funzionanti, correggere errori negli script del server, elaborare dati provenienti da client di posta elettronica e riepilogare tabelle finanziarie. I risultati hanno dimostrato la capacità del modello di pianificare attività in più fasi e interagire correttamente con l’interfaccia a riga di comando.

Il benchmark OSWorld 2 è uno degli standard più rigorosi del settore, poiché simula un ambiente di lavoro reale. Il superamento di test di questo tipo conferma che i sistemi agentici sono pronti ad automatizzare le operazioni di routine di amministrazione dei sistemi e di lavoro d’ufficio. L’uso di strumenti simili consente di confrontare in modo oggettivo l’efficacia delle soluzioni sviluppate in Russia con quella dei loro omologhi internazionali, in condizioni simili a quelle di un impiego reale.

Questi test evidenziano il passaggio dai semplici modelli testuali ad agenti completi, capaci di gestire le risorse di calcolo. L’ulteriore sviluppo di sistemi simili mira a migliorare l’affidabilità nell’esecuzione dei comandi e a ridurre al minimo gli errori quando si lavora con il file system e le API esterne.