È stato rilasciato il motore Laya-MLX per l'esecuzione locale dei modelli su Apple Silicon

I sviluppatori hanno presentato Laya-MLX — un motore specializzato per l'inferenza locale di modelli di decisione tipizzati, come Laya. Lo strumento è ottimizzato per funzionare su dispositivi con architettura Apple Silicon e non richiede la presenza di PyTorch o la connessione a API cloud.

L'architettura del motore garantisce una velocità di elaborazione dei dati elevata durante l'esecuzione dei calcoli direttamente sui chip Apple. Secondo le specifiche tecniche, il ritardo (latency) nell'elaborazione delle richieste in lingua inglese è di 13,4 ms. Per i dati di input multilingue, il livello di prestazioni raggiunge 7,4 ms.

Il progetto è distribuito con codice sorgente aperto, il che consente di integrarlo in applicazioni locali senza la necessità di utilizzare infrastrutture cloud di terze parti. L'utilizzo del framework nativo MLX di Apple consente di distribuire efficacemente il carico di lavoro tra i core CPU e GPU, minimizzando il consumo di memoria operativa.

Il rilascio è orientato agli sviluppatori che creano sistemi di decisione automatizzata, dove è fondamentale una risposta con ritardo minimo. Il rifiuto delle dipendenze pesanti rende il motore adatto per essere integrato in applicazioni desktop leggere che funzionano in tempo reale su macOS.