Laya-MLX motoru Apple Silicon üzerinde yerel olarak modelleri çalıştırmak için yayınlandı

Geliştiriciler, Laya-MLX adlı, Laya gibi tipik karar alma modelleri için yerel çıkarım için özel bir motoru sundu. Araç, Apple Silicon mimarisine sahip cihazlarda çalışmak için optimize edilmiştir ve PyTorch veya bulut API'lerine bağlanmayı gerektirmez.

Motorun mimarisi, Apple çiplerinde hesaplamalar yapılırken yüksek veri işleme hızını sağlar. Teknik özelliklere göre, İngilizce sorguların işlenmesi sırasında gecikme 13.4 ms'dir. Çok dilli girişler için performans göstergesi 7.4 ms'ye ulaşır.

Proje açık kaynaklı olarak dağıtılır, bu da üçüncü taraf bulut altyapilerini kullanma ihtiyacını ortadan kaldırarak yerel uygulamalara entegre edilmesini sağlar. Apple'ın yerel MLX çerçevesini kullanmak, CPU ve GPU çekirdekleri arasında yükü etkili bir şekilde dağıtmaya ve bellek kullanımını en aza indirmeye olanak tanır.

Sürüm, minimum gecikmeyle otomatik karar alma sistemleri oluşturan geliştiricilere yöneliktir. Ağır bağımlılıklardan vazgeçmek, motoru macOS'ta gerçek zamanlı çalışan hafif masaüstü uygulamalarına entegre etmeye uygun hale getirir.