arXiv 人工智能· Haoze Ma, Yidi Li, Yu Ma, Pengyuan Zhao, Yi Shi, Bin Ren, Yanwen Guo, Dimitrios Kanoulas·· 6 hours agoAI score34
面向音视频分割的双耳发声实例消歧方法 BiSID-AVS
Which One Is Sounding? Binaural Sounding Instance Disambiguation for Audio-Visual Segmentation
Not yet translated; shown in Chinese.
AI guide
研究团队提出音视频分割方法 BiSID-AVS,引入双耳音频空间约束以识别多个同类视觉候选中的真实发声实例。该方案通过音频提示定位候选区域,并将双耳线索映射为空间响应图,在特征与解码器层级进行双重空间调节。在 AVS-Synthetic 与 Habitat-AVS 数据集的多候选子集上,BiSID-AVS 将实例级 mIoU 分别提升了 35.19 和 41.21 个百分点。
Source:arXiv 人工智能 · arxiv.org