文献类型：期刊文章

作　　者：张虎成[1] 李雷孝[1,2] 刘东江[1,2]

ZHANG Hucheng;LI Leixiao;LIU Dongjiang(College of Data Science and Application,Inner Mongolia University of Technology,Hohhot 010080,China;Inner Mongolia Autonomous Region Software Service Engineering Technology Research Center Based on Big Data,Hohhot 010080,China)

机构地区：[1]内蒙古工业大学数据科学与应用学院,呼和浩特010080 [2]内蒙古自治区基于大数据的软件服务工程技术研究中心,呼和浩特010080

出　　处：《计算机科学与探索》

基　　金：国家自然科学基金(62362055);内蒙古自治区重点研发与成果转化计划项目(2022YFSJ0013,2023YFHH0052);内蒙古自治区高等学校青年科技英才支持计划项目(NJYT22084,NJYT24035);内蒙古自然科学基金(2023MS06008);内蒙古自治区直属高校科研项目(JY20220061,JY20222077,JY20230119,JY20230019);鄂尔多斯市重点研发计划项目(YF20232328)。

年　　份：2024

卷　　号：18

期　　号：10

起止页码：2501-2520

语　　种：中文

收录情况：BDHX、BDHX2023、CSCD、CSCD2023_2024、DOAJ、INSPEC、JST、SCOPUS、ZGKJHX、核心刊

摘　　要：尽管深度学习强大的学习能力已经在单一模态应用领域取得了优异成果,但研究发现单一模态的特征表示很难完整包含某个现象的完整信息。为了突破在单一模态上特征表示的阻碍,更大化利用多种模态所蕴含的价值,学者们开始提出利用多模态融合的方式去提高模型学习性能。多模态融合技术是让机器在文本、语音、图像和视频中利用模态之间的相关性和互补性融合成更好的特征表示,为模型训练提供基础。目前多模态融合的研究仍处在发展初期阶段,从近几年多模态融合的热门研究领域为出发点,阐述多模态融合方法和融合过程中的多模态对齐技术。重点分析多模态融合方法中的联合融合方法、协同融合方法、编码器融合方法和分裂融合方法在多模态融合中的应用情况与优缺点,阐述在融合过程中的多模态对齐的问题,包括显式对齐和隐式对齐以及应用情况与优缺点。阐述近几年多模态融合领域中热门数据集在不同领域的应用。阐述多模态融合所面临的挑战以及研究展望,以进一步推动多模态融合的发展与应用。

关 键 词：深度学习  多模态融合 模态对齐  多模态应用  

分 类 号：TP181]