Gli sviluppatori hanno presentato il motore Laya-coreml per Apple Silicon

I sviluppatori hanno rilasciato Laya-coreml — un motore specializzato per l'esecuzione locale di modelli con pesi aperti su dispositivi Apple Silicon. Lo strumento utilizza le funzionalità del framework Core ML e del motore neurale integrato nei chip Apple per ottimizzare i calcoli.

Durante i test sul chip M3 Max la soluzione ha dimostrato un ritardo di 4,98 ms (indicatore P50). Gli sviluppatori affermano che l'efficienza energetica dello strumento è 2,78 volte superiore rispetto alle attività analoghe eseguite attraverso la libreria MLX.

Il progetto è orientato all'esecuzione di attività di decisione tipizzate (typed decisions) direttamente sul hardware dell'utente. L'utilizzo dell'accelerazione hardware Neural Engine consente di ridurre il carico sul processore grafico e sulla CPU centrale, ciò che è critico per il funzionamento autonomo delle applicazioni su macOS.

Il codice del progetto è disponibile in un repository aperto su GitHub con una licenza che consente l'integrazione in servizi AI locali di terze parti. Lo strumento è destinato agli sviluppatori che richiedono una velocità di inferenza elevata con un consumo minimo di batteria sui notebook Apple.

Il rilascio estende l'ecosistema degli strumenti per l'AI locale, offrendo un'alternativa alle soluzioni esistenti basate su MLX. Il passaggio al Core ML nativo consente di distribuire in modo più efficiente le risorse di calcolo quando si lavora con modelli che richiedono una bassa latenza di risposta.