文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN202411722278.X

申 请 日：20241128

发 明 人：沈浪

申 请 人：浙江大学软件学院(宁波)管理中心(宁波软件教育中心) 宁波明物智能科技有限公司

申请人地址：315000 浙江省宁波市江南路1689号

公 开 日：20250509

公 开 号：CN119961634A

代 理 人：刘海冰

代理机构：合肥诚育专利代理事务所(普通合伙)

语　　种：中文

摘　　要：本发明涉及人工智能、情感计算领域，提出了一种一种基于文本、语音和表情动作的多模态情感识别算法。首先，设计了一种浅层特征提取网络(Sfen)和并行卷积模块(Pconv)提取语音和文本中的情感特征，在表情动作模态中，将提取面部表情和手部动作的序列特征与双向三层含有注意力机制的LSTM模型相结合；其次，为强化模态间的关联性，设计了一种用于优化语音和文本特征融合的交叉注意力模块；最后，提出一种多性能指标下的模态融合方案，整合不同模态的情感识别结果，实现高精度的情感识别。该系统旨在通过融合音频、文本和表情动作等多模态信息，提高情感识别的准确性。

主 权 项：1.一种基于文本、语音和表情动作的多模态情感识别算法，其特征在于，包括以下步骤：收集多模态数据，包括语音、文本和表情动作数据；对收集的多模态数据进行预处理，包括语音信号的去噪、文本数据的分词和表情动作的图像处理；从预处理后的数据中提取情感特征，包括语音特征、文本特征和表情动作特征；利用深度学习模型对各模态特征进行情感状态识别，得到初步的情感状态预测；采用一种多性能指标下的模态融合方案对多模态特征进行融合，以提高情感识别的准确性；根据权利要求1所述的多模态情感识别算法，其特征在于，所述多模态数据包括但不限于用户的语音信号、文本聊天记录和视频捕获的面部表情及手部动作。

关 键 词：文本  语音 表情动作 多模态 情感识别  算法  多模态数据  模态  融合  情感状态 预处理  原始语音信号  多模态特征  分词  注意力  输出结果  情感特征 语音信号 相似度  文本特征  

IPC专利分类号：G06F18/213;G06N3/0442;G06N3/0464;G06N3/045;G06F18/25