開發人員推出了CUA-S1以加速macOS中的推理

CUA-S1 項目團隊發佈了一層兼容性層，顯著提高了 LLM 在 macOS 虛擬機上的性能。該系統優化了與圖形 API 的交互，允許模型使用 Apple Silicon 的硬件資源，且損失最小。

該技術可將推理速度提高 11–16 倍，相比於標準的虛擬化方法。在 M1 Ultra 芯片上測試，啟動 Gemma 4 12B 模型時，系統展示了 98–99% 的性能，相比於無虛擬化的「實體」硬件。這些結果是通過直接訪問新的 Metal 路徑實現的，之前這些路徑在客戶操作系統中受到限制。

該解決方案面向使用虛擬環境進行 AI 代理測試和部署的開發人員，該代理與計算機界面交互。該項目以開源方式分發，允許將兼容性層集成到現有的 macOS 自動化任務堆棧中。

通過 CUA 优化 GPU 存取，消除了在隔離環境中啟動重型模型的關鍵障礙。這允許使用虛擬化進行 AI 系統的開發和調試，而不會明顯降低令牌生成速度，這之前是此類配置的主要障礙。