研究顯示在引入限制時AI代理的效能會降低

實驗結果顯示，對AI-代理實施嚴格的紀律規則，會降低其修復程式錯誤的能力。在研究中，一個設定為在編寫程式碼時更加謹慎的代理，與基本設定相比，結果效率下降了13%。

評估效率時，使用了來自SWE-bench基準測試的100個真實的錯誤。方法包括三次連續的測試，在這些測試中，模型被迫遵循嚴格的自我控制和驗證動作的演算法，在修改程式碼庫之前。

結果顯示，過度的限制變成了自主系統的「制動器」。代理不再提高程式碼的品質，反而開始更頻繁地拒絕可能正確的解決方案，害怕犯錯。最終，成功修復的缺陷數量減少了，這表明控制水平和模型最終的性能之間存在非線性關係。

這些結論強調了在設定自動化程式設計系統時的平衡問題。過度的謹慎，由於試圖最小化錯誤或幻覺，可能會導致決策癱瘓，降低代理在實際軟體開發任務中的整體用途。