MaxxBench ha rilevato un calo delle prestazioni nei modelli linguistici

I ricercatori hanno presentato un nuovo strumento, MaxxBench, per verificare la capacità dei modelli linguistici di adattarsi a nuovi requisiti, anziché limitarsi a memorizzare i test. Il benchmark modifica i compiti standard del set DeepSWE per valutare le reali competenze di programmazione e di risoluzione dei problemi.

Durante i test è emerso che la modifica delle condizioni porta a un serio calo dei risultati nei sistemi più diffusi. Ad esempio, il punteggio del modello Gemini 3.8 Flash scende al 53.4% nei nuovi compiti, rispetto al 73.8% ottenuto nel benchmark originale DeepSWE.

In totale, sono stati modificati 89 compiti per escludere la riproduzione meccanica di risposte apprese a memoria. Questo approccio consente di determinare con maggiore precisione la capacità dei sistemi di gestire condizioni modificate nello sviluppo reale.