Laya, Apple M4 çipleri üzerinde CoreML aracılığıyla çalışmak üzere uyarlandı

Geliştiriciler, Laya çok dilli modelini CoreML çerçevesi kullanarak M4 işlemcili Mac bilgisayarlarda çalıştırma yöntemini sundu. Optimizasyon, bulut sunucularına başvurmadan tamamen yerel olarak hesaplamaları gerçekleştirmeye olanak tanır.

Testler sırasında sistem, saniyede 45 çözüm seviyesinde bir performans gösterdi. Bu tür sonuçların elde edilmesi için, model ağırlıklarını dönüştüren ve Apple Neural Engine'nin etkili bir şekilde kullanılmasını sağlayan yürütme ortamını ayarlayan özel bir shell betiği hazırlandı.

Entegrasyon süreci, CoreML formatında çalışmak için modeli hazırlamayı içerir, bu da isteklerin işlenmesinde gecikmeleri en aza indirir. Yerel kaynakların kullanılması, tüm karar alma operasyonlarının doğrudan kullanıcı cihazında gerçekleşmesi nedeniyle veri gizliliğini korur.

Verilen çözüm, çevrimdışı modda akıllı ajanlarla çalışırken yüksek bir yanıt hızına ihtiyaç duyan geliştiriciler için tasarlanmıştır. Ortamın kurulumu ve betiğin çalıştırılmasıyla ilgili ayrıntılı talimatlar, Apple Silicon mimarisi için optimizasyonun teknik inceliklerini de tartışan halka açık depoda mevcuttur.

Modellerin donanımda hızlandırmanın desteklenmesiyle yerel olarak taşınması, minimum gecikme gerektiren görevler için bir standart haline geliyor. CoreML'nin kullanılması, M4 çiplerinin olanaklarını en üst düzeyde kullanmayı sağlar ve CPU veya ayrı GPU'lar üzerinde çalıştırma ile karşılaştırıldığında düşük enerji tüketimiyle yüksek bant genişliği sağlar.