I ricercatori hanno valutato la capacità degli agenti AI di comprendere l'architettura dei processori

Un team di ricercatori ha presentato AutoTuring — una metodologia per verificare se gli agenti AI comprendono realmente i principi di progettazione delle attrezzature o se stanno semplicemente selezionando parametri tramite prove ed errori. Nel corso dell'esperimento, agli agenti è stato chiesto di ottimizzare uno spazio di accelerazione 15-dimensionalmente in due modalità: utilizzando parametri architettonici comprensibili e come variabili anonime.

I risultati hanno mostrato che la presenza di dati significativi dà un vantaggio: l'agente che comprende l'architettura ha superato il modello H200 del 5.4%, mentre l'agente "cieco" che lavora con numeri astratti ha mostrato un risultato del 12.3% peggiore. Allo stesso tempo, l'"architetto" ha gestito il compito, effettuando il 70.1% in meno di accessi al simulatore, il che conferma l'efficacia della progettazione consapevole.

La ricerca ha anche rilevato che l'utilizzo di un ciclo di critica (critic loop) consente all'agente "cieco" di compensare quasi completamente il ritardo rispetto all'agente con conoscenze architettoniche. Ciò significa che il feedback strutturato e la profonda comprensione del funzionamento del sistema si comportano come strumenti interscambiabili e non come componenti complementari.

Gli autori del lavoro sottolineano che i metodi di valutazione attuali degli agenti spesso non sono in grado di distinguere la ricerca casuale dalla progettazione consapevole. L'approccio proposto consente di misurare il divario tra questi metodi, che è fondamentale per il trasferimento delle competenze dell'agente a nuove architetture. Il lavoro è pubblicato con licenza Non-exclusive distribution.