文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN201510910437.3

申 请 日：20151210

发 明 人：史墨轩 张作职

申 请 人：天津海量信息技术有限公司

申请人地址：300020 天津市和平区南马路11号麦购国际大厦23层

公 开 日：20160217

公 开 号：CN105335529A

代 理 人：王山

代理机构：天津市尚仪知识产权代理事务所(普通合伙)

语　　种：中文

摘　　要：一种多类型数据的一致性预处理方法中，将数据类型分为文本类型字段、日期类型字段和数据本身三种类型，实现了将不同来源不同类型的数据进行统一的处理，清除了数据中的杂质，并从中提取出有价值的内容供后续处理使用，统一的处理使得后续处理方便而快捷，不需要再做重复的劳动，节省了整个系统的资源，同时灵活的配置可以使不同的系统在这里获得不同的效果，实现了一份数据在同一个服务下面向不同系统进行有针对性的处理。

主 权 项：1.一种多类型数据的一致性预处理方法，包括以下步骤： A、对时间类型字段进行处理，将时间类型字段数据根据时间归一化算法进行归一化，得到格式统一的时间字段； B、对文本类型字段数据进行汉字的繁简转换； C、对文本类型字段数据进行HTML标签的过滤，将数据变为人工可阅读的形式； D、对文本类型字段数据进行分词； E、基于分词结果提取数据中的关键词； F、基于分词结果提取数据中的摘要，通过摘要预览数据内容； G、基于分词结果提取数据中的时间，将数据中行文的时间提取出来，并加以归一化； H、对文本类型字段数据进行联系方式的提取； I、提取文本类型字段数据中的微博要素； J、对数据本身的类型错误进行修正； K、对数据本身的来源进行修正； L、为数据本身提供唯一语义指纹。

关 键 词：后续处理  字段 多类型数据  预处理方法  不同系统  日期类型  数据本身  数据类型 文本类型 不需要  灵活的  有价值  处理  一种  节省  提取  统一  清除  针对性  重复  配置  进行  劳动  服务  

IPC专利分类号：G06F17/30(20060101)