文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN202311789152.X

申 请 日：20231225

发 明 人：何豆 张军 余卓平 尹东晓 朱昊 陆新民

申 请 人：上海智能新能源汽车科创功能平台有限公司 同济汽车设计研究院有限公司

申请人地址：201805 上海市嘉定区安亭镇曹安公路4801号208室-1

公 开 日：20250627

公 开 号：CN120219780A

代 理 人：宣慧兰

代理机构：上海科盛知识产权代理有限公司 31225

语　　种：中文

摘　　要：本发明涉及一种基于跨模态注意力机制的激光雷达和视觉融合地点识别方法，包括以下步骤：使用体素的格式对激光雷达点云数据进行特征提取，得到激光雷达点云数据的多尺度BEV特征；对图像数据进行特征提取，得到图像的多尺度2D特征；通过引入跨模态融合方法和局部全局融合方法，将激光雷达点云数据的多尺度BEV特征和图像多尺度2D特征进行融合，得到融合特征；将融合特征映射为融合描述子；将融合描述子在地图数据库中查询，完成地点识别。与现有技术相比，本发明具有有效融合激光雷达和视觉信息，不受环境影响，能快速、准确进行地点识别，解决了现有技术中存在有效融合激光雷达和相机数据进行地点识别的问题等优点。

主 权 项：1.一种基于跨模态注意力机制的激光雷达和视觉融合地点识别方法，其特征在于，包括以下步骤：步骤S1、使用体素的格式对激光雷达点云数据进行特征提取，得到BEV特征；步骤S2、采用ResNet算法对图像数据进行特征提取，得到图像2D特征；步骤S3、引入跨模态融合方法和局部全局融合方法，将所述BEV特征和所述图像2D特征进行融合，得到跨模态融合特征；步骤S4、将所述跨模态融合特征映射为融合描述子；步骤S5、将所述融合描述子在地图数据库中查询，完成地点识别。

关 键 词：模态 注意力机制  激光雷达 视觉融合  地点识别  体素  格式  点云数据  特征提取  BEV  ResNet  算法  图像数据  引入  模态融合  局部  全局融合  映射  描述子 地图数据库 查询  机器人  同步定位  地图构建 SLAM  自动驾驶  表述  实例检索  给定  大型数据库

IPC专利分类号：G06V 10/764;G06V 10/82;G06V 10/44;G06V 10/80;G06V 20/64;G06N 3/0464;G06N 3/048;G06N 3/08;G06F 16/29;G01S 17/89