研究人員提出Infinite-Parameter LLM架構

研究人員發表了一項工作，描述了 Infinite-Parameter LLM 的概念 — 一種能夠在實時基礎上根據傳入數據調整模型權重的架構。與傳統方法不同，該系統使用緊湊的超網路以「即時」生成參數。

該方法的主要特點是可以在不需要擴大模型物理存儲的情況下進行微調和保存新知識。超網路動態計算權重，使系統能夠有效地處理用戶信息流，同时保持基礎架構的固定大小。

在實驗中，作者展示了這種方法可以使模型以最小的計算成本適應新數據域。使用超網路生成權重可以在更新知識時降低內存要求，因為更改是在生成器級別進行的，而不是通過完全重新訓練或存儲大量 LoRA 適配器。

該技術針對需要在不停止推理的情況下對模型進行連續學習的場景。詳細的數學推導和性能測試結果可在 官方出版物 中找到。技術實現的技術方面正在 Hacker News 社區中進行討論。

這項開發改變了 LLM 的生命周期方法，允許創建具有「無限」學習容量的系統。這消除了對模型知識庫進行定期微調（fine-tuning）的需要，這對於動態環境和個人 AI 助手至關重要。