I ricercatori hanno individuato un'instabilità critica dei risultati durante il test del LLM

Un gruppo di ricercatori ha pubblicato i risultati dell'analisi degli esperimenti con i promt, che dimostrano una alta sensibilità dei modelli alle modifiche minori nelle formulazioni. Nel corso del lavoro è stato stabilito che anche i dettagli neutri nelle richieste portano a divergenze radicali nei risultati finali delle prestazioni.

Nell'ambito del test della metodologia "Peer Preservation" gli autori hanno rilevato che il cambiamento dell'ordine delle parole o l'aggiunta di istruzioni secondarie modifica il comportamento dei sistemi in modo imprevedibile. I risultati variano a seconda dell'architettura del modello, mettendo in discussione la riproducibilità di molti benchmark attuali basati sull'ingegneria dei promt.

Lo studio sottolinea il problema della "fragilità" degli attuali LLM, dove le minime deviazioni nella finestra di contesto causano cambiamenti statisticamente significativi nelle risposte. Ciò crea rischi nella valutazione delle capacità dei modelli, poiché i metodi di test attuali spesso non tengono conto della variabilità causata da dettagli casuali nella struttura della richiesta.

I dati ottenuti indicano la necessità di standardizzare i protocolli di valutazione per escludere l'influenza del "rumore" sui metrici finali. Per i nuovi ricercatori ciò significa passare a metodi di verifica più rigorosi, dove la stabilità del risultato con minimi cambiamenti del promt diventa un criterio chiave di qualità del modello.