SpeckLabs Speck2-140M modelinin kompakt bir versiyonunu tanıttı

Şirket Speck2-140M İngilizce dilinde etkili çalışmaya yönelik yeni bir temel dil modeli çıkardı. Sistem mimarisi 140 milyon parametre içerir, bu da onu sınırlı hesaplama kaynaklarına sahip cihazlarda çalıştırmasına uygun hale getirir.

Modelin temelinde grouped-query attention ve gated convolution mekanizmalarının bir kombinasyonu yatmaktadır. Eğitim 20 milyar token hacmindeki bir corpus üzerinde yapılmıştır. Geliştiriciler, açgözlü decoding (greedy decoding) yönteminin kullanımı sırasında sistemin doğru çalışmasını onayladı, bu da metin oluşturmanın öngörülebilirliğini sağlar.

Model, Transformers kütüphanesi aracılığıyla entegrasyona açıktır. Kodda ağırlıkları yüklemek için trust_remote_code=True parametresinin kullanılması gerekir, çünkü mimari, katmanların doğru şekilde başlatılması için özel ayarlamalar gerektirir.

Bu gibi kompakt çözümlerin yayınlanması, dil özelliklerini bulut API'lerine başvurmadan doğrudan yerel uygulamalara entegre etmeyi sağlar. Düşük parametre sayısı, metin isteklerinin işlenmesinde minimum gecikme gerektiren görevler için kritik olan yüksek推理 hızını sağlar.