SenseTime mültimodal SenseNova-U1.5-8B-MoT modelini yayımladı

Şirket SenseNova-U1.5-8B-MoT-SFT görsel içerikle çalışma amacıyla tasarlanmış yeni bir mimari sundu. Model, Mixture-of-Tokens (MoT) yaklaşımına dayanmaktadır ve görüntü oluşturma ve düzenleme görevlerini gerçekleştirmek için optimize edilmiştir.

Geliştiriciler, 4K çözünürlükte çıktı desteğini gerçekleştirdiler, bu da sistemi benzer parametre sayısına sahip benzerlerinden ayırmaktadır. Model 8 milyar parametreye sahiptir ve kullanıcı talimatlarına grafik oluştururken uyumu artırmak için SFT (Denetimli İnce Ayar) aşamasından geçmiştir.

Modelin teknik uygulaması, karmaşık görsel sorguları işleyebilen yerel çok modlu bir sistem olarak kullanılmasına olanak tanır. Model ağırlıkları ve dağıtım belgeleri, Hugging Face platformunda açık erişimde indirilmeye hazır durumdadır.

MoT mimarisinin entegrasyonu, görsel tokenlerin işlenmesi sırasında hesaplama kaynaklarının daha etkili bir şekilde dağıtılmasını sağlar. Bu çözüm, yüksek çözünürlüklü görüntü oluştururken gecikmeleri azaltmayı amaçlamaktadır, ancak uzman ekipmanda yerel çalıştırma için modelin kompakt boyutunu korur.

Yeni sürüm, geliştiricilere üçüncü taraf uygulamalara resim düzenleme işlevlerini entegre etmek için esnek bir araç sunarak, oluşturucu içerik için araç ekosistemini genişletmektedir. Modelin kaynak kodu ve ağırlıkları, araştırma ve uygulamalı amaçlar için dağıtılmaktadır.