研究人員提出Vibe Patenting的benchmark來評估AI代理程式

一組研究人員提出 Vibe Patenting — 一個專門的測試平台，評估AI代理在撰寫專利文件時的工作質量。該系統使用「LLM法官」方法，分析專利草稿並提供結構化的反饋，以便於文本的迭代改進。

在測試過程中，發現使用迭代反饋可以使計算能力較低的模型達到與昂貴的高性能系統相似的表現。研究人員指出，沒有指導性修改，生成質量很快就會達到「平原」，而LLM法官參與的代理工作流程可以提供穩定的指標增長。

為了驗證結果的可靠性，作者們將AI評估與獨立的專業專利代理人分析進行比較。發現自動化指標在特定標準下與專家意見有顯著的相關性，但也強烈依賴於具體的評估標準，這表明需要將模型校準為特定的法律標準。

該研究強調了使用LLM作為複雜專業任務仲裁者的潛力和限制。研究結果在 arXiv許可 下公開，為開發人員提供了一種方法論，以在嚴格的準確性和文件結構要求下測試代理。