開發者透過 C99 在一般 PC 上運行 Kimi K3 模型

一位愛好者推出了 Kimi K3 in C，這是一個使用 C99 語言實現的 2.78 兆參數語言模型。該專案允許在僅配備 8GB RAM 的標準個人電腦上，執行總檢查點大小為 1.56TB 的模型推論。

此解決方案的關鍵特性是直接從儲存裝置將資料串流傳輸至記憶體的機制。系統不會一次載入整個模型，而是隨著計算執行讀取必要的權重，從而繞過了硬體限制。程式碼以純 C 語言編寫，最大限度地減少了執行操作的額外開銷。

該實作旨在與 Kimi K3 模型架構搭配運作。利用磁碟空間作為 RAM 的擴充，使得在顯示記憶體或 RAM 容量不足以容納完整權重的消費級配置上，也能運行極其龐大的模型。

對於實務工作者而言，這意味著可以在本地運行過去需要數十 TB 記憶體叢集才能執行的模型。儘管由於磁碟傳輸頻寬的限制，生成速度預期較慢，但該專案展示了「磁碟推論」方法在平價硬體上運行巨型神經網路的可行性。