Laya è stato adattato per funzionare sui chip Apple M4 tramite CoreML

I sviluppatori hanno presentato un metodo per eseguire il modello multilingue Laya sui computer Mac con processori M4 utilizzando il framework CoreML. L'ottimizzazione consente di eseguire calcoli completamente in locale senza accedere ai server cloud.

Durante i test, il sistema ha dimostrato prestazioni a livello di 45 decisioni al secondo. Per raggiungere tali risultati è stato preparato uno script shell specializzato che converte i pesi del modello e configura l'ambiente di esecuzione per utilizzare efficacemente il motore neurale Apple Neural Engine.

Il processo di integrazione include la preparazione del modello per funzionare nel formato CoreML, il che minimizza i ritardi nell'elaborazione delle richieste. L'utilizzo di risorse locali consente di mantenere la riservatezza dei dati, poiché tutte le operazioni di decisione avvengono direttamente sul dispositivo dell'utente.

Questa soluzione è orientata agli sviluppatori che richiedono una risposta rapida quando lavorano con agenti intelligenti in modalità offline. Le istruzioni dettagliate per la configurazione dell'ambiente e l'avvio dello script sono disponibili nel repository pubblico, dove vengono anche discussi i dettagli tecnici dell'ottimizzazione per l'architettura Apple Silicon.

Il trasferimento dei modelli su hardware locale con supporto per l'accelerazione hardware sta diventando lo standard per le attività che richiedono una latenza minima. L'utilizzo di CoreML consente di utilizzare al massimo le possibilità dei chip M4, garantendo una larghezza di banda elevata a basso consumo energetico rispetto all'esecuzione su CPU o GPU discrete.