I ricercatori hanno valutato la precisione dei modelli nella risoluzione dei problemi di fisica

Un gruppo di ricerca ha pubblicato i risultati del test di avanzati modelli AI, tra cui GPT-5.6-Sol, su banchi di prova fisici specializzati. L'analisi ha mostrato che le capacità reali dei sistemi sono significativamente più elevate dei dati riportati nei rapporti ufficiali.

Durante il lavoro, gli esperti hanno identificato errori sistematici nelle formulazioni delle domande e nelle soluzioni di riferimento del set di dati CritPt. Dopo la correzione degli incarichi di test, il tasso pass@4 per i modelli testati ha raggiunto il 94,4%. I risultati precedentemente sottostimati erano dovuti a condizioni di problema non corrette, che ostacolavano la corretta interpretazione delle leggi fisiche da parte delle reti neurali.

Gli autori della ricerca sottolineano che i metodi di valutazione attuali per i modelli "di frontiera" spesso non tengono conto della qualità dei banchi di prova stessi. La correzione della metodologia di test consente di misurare più precisamente la capacità dei modelli di inferenza logica in discipline scientifiche altamente specializzate, come la fisica teorica.

I risultati del lavoro sono disponibili nel preprint su arXiv. La discussione sulla metodologia di valutazione e sugli errori identificati nei set di dati è in corso sulla piattaforma Hacker News. I dati ottenuti indicano la necessità di rivedere gli standard di test per i modelli che aspirano a risolvere problemi di livello esperto.