Geliştiriciler CUA-S1'i macOS'ta çıkarımı hızlandırmak için sundu

CUA-S1 projesi ekibi CUA-S1 uyumluluk katmanını yayınladı, bu da macOS'te sanal makinelerde LLM performansı önemli ölçüde artırdı. Sistem, grafik API'si ile etkileşimi optimize eder, modellerin Apple Silicon donanım kaynaklarını minimum kayıpla kullanmasına olanak tanır.

Teknoloji, sanallaştırma standart yöntemlerine kıyasla 11-16 kat hızlanan çıkarımı sağlar. M1 Ultra çiplerinde Gemma 4 12B modelini çalıştırırken yapılan testlerde, sistem sanallaştırmadan "donanım" performansının %98-99 seviyesinde olduğunu gösterdi. Bu sonuçlar, daha önce konuk işletim sistemlerinde sınırlı olan yeni Metal yollarına doğrudan erişim sayesinde elde edilir.

Çözüm, AI ajanlarını test etmek ve dağıtmak için sanal ortamlar kullanan geliştiricilere yöneliktir. Bilgisayar arabirimini çalıştıran Projeye açık kaynaklı olarak dağıtılır, bu da uyumluluk katmanını macOS'teki mevcut yığınlarına entegre etmeyi sağlar.

CUA aracılığıyla GPU erişimini optimize etmek, ağır modelleri izole ortamlarda çalıştırmak için kritik bir engeli ortadan kaldırır. Bu, daha önce benzer yapılandırmalar için önemli bir engel olan token oluşturma hızında önemli bir düşüş olmadan AI sistemlerinin geliştirilmesi ve hatalarının düzeltilmesi için sanallaştırmayı kullanmayı sağlar.