Ricercatori hanno presentato il benchmark Vibe Patenting per valutare gli agenti AI

Un gruppo di ricercatori ha presentato Vibe Patenting — un banco di prova specializzato per valutare la qualità del lavoro degli agenti AI nella stesura della documentazione dei brevetti. Il sistema utilizza il metodo del "giudice-LLM", che analizza le bozze dei brevetti e fornisce un feedback strutturato per il miglioramento iterativo del testo.

Durante il test, è emerso che l'utilizzo di un feedback iterativo consente ai modelli meno potenti di raggiungere prestazioni paragonabili a quelle dei sistemi ad alte prestazioni costosi. I ricercatori hanno notato che senza correzioni guidate, la qualità della generazione raggiunge rapidamente un "plateau", mentre i processi di lavoro degli agenti con la partecipazione del giudice LLM garantiscono un aumento costante delle metriche.

Per verificare l'attendibilità dei risultati, gli autori hanno confrontato le valutazioni AI con un'analisi indipendente di un agente brevettuale professionista. È stato rilevato che le metriche automatizzate mostrano una correlazione significativa, ma fortemente dipendente da criteri specifici, con l'opinione dell'esperto, il che indica la necessità di calibrare i modelli in base a standard giuridici specifici.

Il lavoro sottolinea sia il potenziale che i limiti dell'utilizzo di LLM come arbitri per compiti professionali complessi. La ricerca è disponibile sotto licenza arXiv, fornendo agli sviluppatori una metodologia per testare gli agenti in condizioni di requisiti stringenti di precisione e struttura della documentazione.