Geliştiriciler Apple Silicon için Laya-coreml motorunu sundu

Geliştiriciler, Apple Silicon cihazlarında açık ağırlıklı modelleri yerel olarak çalıştırmak için özel bir motor olan Laya-coreml'i yayınladı. Araç, hesaplamaları optimize etmek için Core ML çerçevesi ve Apple çiplerine gömülü Neural Engine'nin özelliklerini kullanır.

M3 Max çipi上的 testlerde, çözüm 4.98 ms gecikme (P50 göstergesi) gösterdi. Geliştiriciler, aracın enerji verimliliğinin, MLX kütüphanesi aracılığıyla gerçekleştirilen benzer görevlere kıyasla 2.78 kat daha yüksek olduğunu iddia ediyor.

Proje, kullanıcı donanımında doğrudan tipik karar alma görevlerini (typed decisions) gerçekleştirmeye yöneliktir. Neural Engine'nin donanım hızlandırmasının kullanılması, grafik işlemcisini ve merkezi CPU'yu azaltmaya olanak tanır, bu da macOS'ta uygulamaların bağımsız çalışması için kritiktir.

Projenin kodu, GitHub'da üçüncü taraf yerel AI hizmetlerine entegrasyonu sağlayan bir lisans altında açık bir depoda mevcuttur. Araç, yüksek hızda çıkarım ve Apple dizüstü bilgisayarlarında minimum pil tüketimi gerektiren geliştiriciler için tasarlanmıştır.

Sürüm, mevcut MLX tabanlı çözümlere bir alternatif sunarak yerel AI araçları ekosistemini genişletir. Yerel Core ML'ye geçmek, düşük gecikme gerektiren modellerle çalışırken hesaplamaları daha etkili bir şekilde dağıtmaya olanak tanır.