acm 国际多媒体会议（acm multimedia 2021）于2021 年10 月20 日至24 日在成都成功举办。会议上公布了多模态情感识别挑战赛 muse 2021（the multimodal sentiment in real-life media challenge 2021）的结果。模式识别国家重点实验室智能交互团队在本次挑战赛中共摘得muse-wilder、muse-sent和muse-physio三个任务冠军。
muse 2021是acm multimedia 2021会议的特别挑战赛，共包含四个任务。由英国帝国理工学院、德国奥斯堡大学以及新加坡南洋理工大学等高校共同举办，吸引了来自全球的 61 支队伍参赛。该挑战赛源于情感计算领域著名的avec（audio-visual emotion challenge）竞赛。今年是第二届多模态情感识别挑战赛，该项比赛面向自然场景下多模态高鲁棒细微情感分析，更加注重结合语义信息的多模态深度融合能力的评测。参赛者需要利用官方提供的自然场景下的音视频和文本数据有效地预测出维度情感值（唤醒度和激活度）。团队利用循环神经网络和自注意力机制进行时序建模，结合多模态注意力机制等多种融合策略抽取跨模态信息, 借助于数据增广和一致相关系数损失函数解决小样本和鲁棒性问题，对多模态情感分析技术的发展具有重要意义。
|
