I ricercatori hanno presentato il benchmark BioPhys-Bridge per testare il ragionamento scientifico

Un gruppo di ricercatori ha pubblicato BioPhys-Bridge — un set di dati specializzato per valutare la capacità dei modelli linguistici di effettuare ragionamenti scientifici interdisciplinari. Il benchmark si concentra su compiti che richiedono la connessione dei dati alle fonti, l'interpretazione dei modelli fisici e l'analisi dei meccanismi biologici.

La prima release include 500 casi e 1517 compiti per gli agenti AI, coprendo sei domini biologici e nove famiglie di modelli fisici. Ogni caso contiene blocchi di prove, valori quantitativi, unità di misura, equazioni e ipotesi. Per 81 casi è stata effettuata un'annotazione esperta e tutti i dati sono distribuiti con licenza CC BY 4.0.

I test preliminari hanno mostrato che il modello DeepSeek-V4-Flash è in testa per il punteggio F1-score per l'identificazione delle prove, con un punteggio di 0.360. Seguono Qwen3.7-Max con un punteggio di 0.316 e GPT-4o-mini con 0.294. La valutazione è stata condotta utilizzando filtri di qualità rigorosi, tra cui la verifica dell'integrità dei dati e la normalizzazione delle unità di misura.

Lo strumento è progettato per combattere le allucinazioni e migliorare la precisione delle risposte in scenari scientifici complessi. In futuro, gli autori pianificano di estendere il set di dati e aggiungere nuovi modelli fisici per testare più a fondo la capacità delle reti neurali di effettuare inferenze logiche multistep nei ricerche biofisiche.