Cactus Compute kompakt iğne3 modelini mobil cihazlar için sundu

Cactus Compute şirketi, doğrudan mobil cihazlarda çalışmak üzere tasarlanmış özel bir temel model olan needle3'ü yayınladı. Modelin ağırlığı 9 ile 35 MB arasında değişir, bu da onu bulut sunucularına başvuruya gerek kalmadan sınırlı donanım kaynaklarına sahip uygulamalara entegre etmesini sağlar.

needle3 mimarisi, dış araçları çağırmak, yapılandırılmış veri çıkarma ve metin gömme oluşturmak için üç ana görevi gerçekleştirmek üzere optimize edilmiştir. İç testlerde model, görevleri 1 saat içinde tamamlayarak 9 puan aldı, bu da geliştiricilere göre, daha büyük benzerlerine kıyasla özel kullanım senaryolarında daha iyi performans göstermesini sağlar.

Model, fine-tuning ve kuantumlaştırma yöntemleri aracılığıyla esnek bir şekilde ayarlanabilir, bu da onu belirli iş sorunlarına uyarlamayı kolaylaştırır. Küçük boyutu sayesinde needle3, düşük gecikme süresiyle birlikte yüksek veri çıkarma doğruluğunu korur.

Yayın, AI işlevlerini kullanıcı verilerinin gizliliğini korurken uygulamak zorunda olan mobil yazılım geliştiricilerine yöneliktir. Yerel hesaplamaların kullanılması, gizli bilgilerin dış sunuculara aktarılmasını engeller, bu da birçok kurumsal ve tüketici uygulaması için kritik bir gereksinimdir.