Geliştiriciler Apple Silicon'de Qwen'i hızlandırmak için Splash'ı sundu

Splash ekibi, Apple Silicon çipleri üzerinde çalışmak için optimize edilmiş yerel bir çıkarım motoru yayınladı. Araç, Qwen ailesindeki modelleri çalıştırmaya yöneliktir ve standart yürütme yöntemlerine kıyasla performansı 2 kat artırır.

Yüksek çalışma hızı, spekülatif dekodlama tekniğinin kullanılması sayesinde elde edilir. Motor, API aracılığıyla istekleri alan yerel bir sunucuyu dağıtmaya olanak tanır ve OpenAI ve Anthropic standartlarıyla uyumludur. Varsayılan olarak, hizmet 8000 numaralı portta çalışır, bu da mevcut istemci uygulamaları ve kütüphanelerle entegrasyonu kolaylaştırır.

İç performans testlerinde, sistem 5 saat süreyle sürekli yük altında 10 puanlık bir sonuç gösterdi. Yazılım, Apple'ın nöral çekirdeklerini ve birleşik işlemci belleğini en iyi şekilde kullanarak Apple Silicon mimarisi için özel olarak tasarlandı.

Çözüm, geliştiricilerin bulut API'lerine başvurmadan yerel olarak modern LLM'leri çalıştırmasına olanak tanır ve aynı zamanda alışık oldukları etkileşim arayüzünü korur. Qwen'i optimize edilmiş motorla birlikte kullanmak, metin oluşturma sırasında gecikmeleri azaltır, bu da etkileşimli AI araçları ve yerel ajanlar için kritiktir.