跳到正文
原文
arXiv 人工智能· Weihan Xu, Kan Jen Cheng, Koichi Saito, Jingyu Shi, Tingle Li, Yisi Liu, Liming Wang, Masato Ishii, Takashi Shibuya, Gopala Anumanchipalli, Paul Pu Liang·· 7 小时前AI 评分38

AVIO:在视听场景中学习添加与移除发声物体

AVIO: Learning to Add and Remove Sounding Objects in Audiovisual Scenes

AI 导读

AVIO 是一种可在视听场景中联合学习发声物体添加与移除的模型,通过源条件特征调制适配预训练文本到视听生成模型。配套构建的 AVIOBench 数据集包含 37.9 小时配对视听样本,覆盖 1,878 个目标物体名称。该模型结合参考帧课程学习,使单个模型即可执行纯指令编辑,并支持通过可选视觉引导控制物体的外观与位置。

来源:arXiv 人工智能 · arxiv.org