XGENlabs 提出了互動模型 XGEN-JING

團隊 XGEN-JING 釋出了同名的第一人稱視角的視頻和音頻生成模型。該系統旨在模擬導航和與物體的交互作用的實時模擬。

在架構的基礎上是基礎模型 MiniMax-H3。開發人員提供了 JING-Flash-v1 版本，該版本針對低延遲的運行進行了優化。模型支持通過鍵盤進行控制，允許用戶直接影響虛擬代理在畫面的軌跡和動作。

為了生成內容，系統使用參考圖像作為上下文。該項目的倉庫中發布了完整的推理代碼，以及一套指令，用于組裝提示以控制模型的行為。整個工具包都可以用於本地部署和測試。

該技術針對需要第一人稱視角的任務，例如機器人學習或創建交互式環境。使用 JING-Flash-v1 可以生成用戶操作引起的視覺變化與音頻同步的序列。

該版本擴展了生成系統在交互式視頻領域的能力，從被動觀看轉向主動控制環境。這簡化了為第一人稱視角下工作的自主代理創建訓練數據集的過程。