S2TDR：面向表情包感知对话理解的结构化多模态重构框架

研究人员提出结构化多模态重构框架 S2TDR，将社交媒体对话中的表情包轮次重构为契合上下文的文本表达，以便现有文本模型直接处理。该框架将表情包解析分解为视觉线索提取、情感意图推理以及上下文感知重构，仅将 OCR 文本作为辅助线索。实验表明，S2TDR 在情绪分析、意图识别和对话摘要等下游任务中均优于直接整合表情包的方法。