發佈了Laya-MLX引擎，用于在Apple Silicon上本地運行模型

開發人員推出了 Laya-MLX — 一款專門為本地推理型別化決策模型（如 Laya）而設計的引擎。該工具已針對 Apple Silicon 架構的設備進行優化，並不需要 PyTorch 或連接到雲端 API。

引擎的架構確保了在 Apple 芯片上直接執行計算時的高速度。根據技術規格，英文查詢的延遲（latency）為 13.4 毫秒。對於多語言輸入，性能指標可達 7.4 毫秒。

該項目以開源方式發布，允許將其集成到本地應用程序中，而無需使用第三方雲端基礎設施。使用 Apple 的原生框架 MLX 可以有效地在 CPU 和 GPU 核心之間分配負載，同時最小化內存消耗。

該版本面向開發自動化決策系統的開發人員，對於這些系統，最小的延遲反應時間至關重要。取消重型依賴使得引擎適合集成到在 macOS 上以實時模式運行的輕量級桌面應用程序中。