Amazon Mamba2-primed-HQwen3-8B-Instruct melez modelini tanıttı

Amazon şirketi, Mamba2-primed-HQwen3-8B-Instruct adlı hibrit dil modelini yayınladı - Attention ve Mamba-2 mimarilerini eşit oranlarda birleştiren bir model. Sürüm, yüksek metin oluşturma kalitesini korurken performansı optimize etmeye yöneliktir.

Model, Qwen3-8B temel alınarak oluşturuldu ve 50/50 mimari yaklaşımını kullanıyor, burada katmanların yarısı klasik dikkat mekanizmalarına, diğer yarısı ise Mamba-2 durum bloklarına ait. Bu kombinasyon, 128K token'e kadar olan bağlamsal pencere ile çalışırken, temel sürüme kıyasla 2 kat hızlanmayı sağlar.

İç testlerde model, hesaplamalı maliyetlerde önemli bir azalma rağmen, orijinal Qwen3-8B düzeyinde cevap kalitesini koruma yeteneğini gösterdi. Araç, gerçek zamanlı olarak uzun veri dizilerini işleme gerektiren görevler için tasarlandı, burada standart transformatörler, dikkat karmaşıklığı nedeniyle yüksek gecikme gösterir.

Hibrit mimarinin uygulanması, uzun bağlamlar için Mamba-2'nin lineer ölçekleme avantajlarını etkili bir şekilde kullanmayı sağlar ve aynı zamanda klasik dikkat mekanizmalı modellerin karakteristik doğruluğunu korur. Modelin kaynak kodu ve ağırlıkları, Hugging Face platformunda temel mimariye uygun bir lisans altında indirilmeye hazır.

Verilen sürüm, üretim ortamlarında LLM'lerin işletme maliyetini azaltma çabalarının bir parçasıdır. Hibrit mimarilere geçmek, geliştiricilerin uzun bağlam sistemlerini, GPU donanım kaynaklarını katlanarak artırmak zorunda kalmadan ölçeklemelerine olanak tanır.