開發人員推出了適用於Apple Silicon的Laya-coreml引擎

開發人員發佈了 Laya-coreml — 一款專門為 Apple Silicon 设备上的本地運行開放權重模型而設計的引擎。該工具利用 Core ML 框架和 Apple Neural Engine 的功能來優化計算。

在 M3 Max 芯片上的測試中，該解決方案展示了 4.98 毫秒 的延遲（P50 指標）。開發人員聲稱，該工具的能效比通過 MLX 庫執行的類似任務高出 2.78 倍。

該項目旨在直接在用戶的設備上執行類型化的決策任務（typed decisions）。使用 Neural Engine 的硬件加速可以降低對圖形處理器和中央 CPU 的負載，這對於 macOS 上的應用程序的自主運行至關重要。

該項目的代碼在 GitHub 上的開源存儲庫中可用，根據許可證，允許將其集成到第三方本地 AI 服務中。該工具面向需要在 Apple 筆記本電腦上以最小的電池耗電實現高速度推理的開發人員。

該版本擴展了本地 AI 工具的生態系統，為現有的基於 MLX 的解決方案提供了替代方案。轉換為原生 Core ML 可以在處理需要低延遲的模型時更有效地分配計算資源。