XGENlabs interaktif XGEN-JING modelini sundu

XGEN-JING ekibi birinci şahıs video ve ses oluşturma için aynı adlı bir model yayınladı. Sistem, gerçek zamanlı olarak nesnelerle gezinme ve etkileşimi simüle etmek için tasarlandı.

Mimari temelinde MiniMax-H3 modeli yatıyor. Geliştiriciler, düşük gecikme süreleriyle çalışmak için optimize edilmiş JING-Flash-v1 sürümünü sağladı. Model, kullanıcının sanal ajanın kare içindeki hareket yolunu ve eylemlerini doğrudan etkilemesine olanak tanıyan klavye üzerinden kontrolü destekler.

İçerik oluşturmak için sistem, referans görüntüleri bağlam olarak kullanır. Proje deposunda, çıkarım için tam kod ve model davranışını kontrol etmek için promt'ları oluşturma talimatları yayınlandı. Tüm araç seti yerel olarak dağıtmak ve test etmek için kullanılabilir.

Teknoloji, ego merkezli görüş gerektiren görevler için tasarlanmıştır, Örneğin robotik eğitimi veya etkileşimli ortamlar oluşturulması. JING-Flash-v1 kullanılması, kullanıcı eylemleriyle oluşan görsel değişikliklerle senkronize edilmiş ses dizilerini oluşturmayı sağlar.

Sürüm, etkileşimli video alanında generatif sistemlerin yeteneklerini genişletir ve pasif görüntüleme yerine aktif ortam kontrolüne geçer. Bu, birinci şahıs koşullarında çalışan otonom ajanlar için eğitim veri setlerinin oluşturulmasını basitleştirir.