Laya 已適配於 Apple M4 晶片上的 CoreML 進行運作

開發人員展示了在搭載M4處理器的Mac電腦上使用CoreML框架啟動多語言模型Laya的方法。優化允許完全在本地執行計算，而無需訪問雲服務器。

在測試過程中，系統展示了每秒45個解決方案的性能。為了達到這些指標，準備了一個專門的shell腳本，該腳本將模型權重轉換為CoreML格式，並配置執行環境以有效地使用Apple Neural Engine。

集成過程包括準備模型以CoreML格式運行，從而最小化處理請求的延遲。使用本地資源允許維護數據保密性，因為所有決策操作都直接在用戶設備上進行。

該解決方案面向需要在離線模式下與智能代理合作的開發人員，需要快速響應。設置環境和啟動腳本的詳細指示可在公共存儲庫中找到，同時還討論了優化Apple Silicon架構的技術細節。

將模型移植到支持硬件加速的本地硬件上已成為需要最低延遲的任務的標準。使用CoreML允許最大限度地發揮M4芯片的功能，提供高吞吐量和低能耗，相比在CPU或獨立GPU上運行具有更好的性能。