Cactus Compute kompakt modeller dizisi Needle 3 yayınlandı

Şirket Cactus Compute sınırlı kaynaklara sahip cihazlarda görev otomasyonu için tasarlanmış Needle 3 özel model serisini sundu. Sunulan sinir ağlarının ağırlığı 8 ila 29 MB arasında değişir, bu da onları akıllı telefonlara, giyilebilir elektroniklere ve robotik sistemlere entegre etmeyi sağlar.

Needle 2'nin teknik özellikleri, donanım seviyesinde yüksek performans gösterir. 45 milyon parametre ve 14 MB boyutuna sahip model, Raspberry Pi 5 tek kartlı bilgisayarda 500 tokenin üzerinde metin oluşturma hızına ulaşabilir. 200$'ın altında olan bütçe akıllı telefonlarında hız göstergeleri 300 ila 700 token arasında değişir.

Geliştiriciler, Needle 3'ün otomasyon görevlerindeki etkinlik seviyesinin DeepSeek V4 Flash modeliyle karşılaştırılabilir olduğunu iddia ediyor. Bu kadar küçük ağırlık, düşük gecikme ve minimum bellek tüketimi kritik öneme sahip özel kullanım senaryolarına yönelik mimarinin derin optimizasyonu sayesinde elde ediliyor.

Verilen sürüm, yerel olarak çalıştırmak için özerk AI ajanları oluşturan geliştiricilere yöneliktir. Bu tür modellerin kullanımı, bulut API'lerine başvurma ihtiyacını ortadan kaldırır, veri gizliliğini sağlar ve sistemin sürekli ağ bağlantısı olmadan çalışmasını sağlar. Ayrıntılı teknik tartışmalar ve topluluk geri bildirimleri Hacker News platformunda mevcuttur.