研究人員評估AI代理理解處理器架構的能力

研究團隊提出 AutoTuring — 一種方法論，用于檢驗 AI 代理是否真正理解設備設計原理，還是只是透過反覆試驗來調整參數。在實驗中，代理被要求在兩種模式下優化 15 維加速器空間：使用易於理解的架構參數和匿名變數。

結果顯示，具有有意義數據的代理具有優勢：理解架構的代理超越了 H200 模型 5.4%，而「盲目」代理則表現出 12.3% 差。同時，「架構師」代理完成任務，僅需 70.1% 的模擬器存取次數，證實了有意義設計的有效性。

研究還發現，使用批評迴圈（critic loop）可以讓「盲目」代理基本上完全彌補與具有架構知識的代理之間的差距。这意味著結構化的反饋和對系統的深入理解可以作為互相替代的工具，而不是互補的組件。

研究作者強調，目前的代理評估方法往往無法區分隨機搜索和有意義的設計。提出的方法可以衡量這兩種方法之間的差距，這對於將代理的技能轉移到新架構中至關重要。該研究以 Non-exclusive distribution 許可證發表。