研究人員提出Metacognitive Steering方法來控制LLM的邏輯

研究人員開發了一種名為 Metacognitive Steering 的方法，允許動態地改變神經網路在生成過程中的推理策略。這項技術旨在通過在研究、執行和批判性評估模式之間切換來提高自主代理進行的科學研究的質量。

該方法的基礎是對 Kimi 2.6 模型的內部狀態進行分析，該模型是一種具有超過 一萬億 參數的混合專家架構。通過奇異值分解和注意力權重分析，作者們在神經網路的中間層中找到了低維度的控制結構。控制器讀取模型的當前認知模式並對特定層施加干預，而無需重新訓練或修改權重。

該方法的有效性已在 Columbus-1 系統上得到展示。代理成功地找到了 BlueZ 堆棧中的 八 個漏洞，這些漏洞已被獨立驗證，並設計和準備生產了一枚具有固體燃料發動機著陸系統的 三米 火箭。該方法允許代理在解決複雜工程問題的過程中更深入地研究假設，並自動過濾掉不太可能的選項。

這項開發改變了對模型行為的管理方法，從簡單的提示轉向直接影響計算過程。這允許使用 Metacognitive Steering 來創建更可靠的自主系統，具有自我控制和批判性分析數據的能力，實現實時分析。