登录    注册    忘记密码

专利详细信息

一种基于贝叶斯分类的短文本分类方法       

文献类型:专利

专利类型:发明专利

是否失效:

是否授权:

申 请 号:CN201810951636.2

申 请 日:20180821

发 明 人:水新莹 张宇光 黄亚坤

申 请 人:安徽讯飞智能科技有限公司

申请人地址:241000 安徽省芜湖市鸠江区皖江财富广场A1座9楼

公 开 日:20190108

公 开 号:CN109165294A

代 理 人:项磊

代理机构:34138 芜湖思诚知识产权代理有限公司

语  种:中文

摘  要:本发明公开了一种基于贝叶斯分类的短文本分类方法,涉及智慧城市和电子政务领域,该方法包括有以下步骤:(1)数据预处理与类别标注;(2)完成短文本数据的分词和增量特征向量提取,主要分为以下两个核心步骤;(3)建立基于贝叶斯的短文本分类模型;(4)对已处理的数据集合划分为训练集和测试集,进行分类模型训练,并根据训练集的结果进行模型的优化;(5)根据已训练好的模型,输入未知类别的短文本数据,输出为当前输入文本属于每个类别的概率,选取概率最大的类别作为最终分类类别的结果,该种基于贝叶斯分类的短文本分类方法能够高效、智能、自动的对短文本内容进行有效的分类。

主 权 项:1.一种基于贝叶斯分类的短文本分类方法,其特征在于,该方法包括有以下步骤:(1)数据预处理与类别标注:步骤一:抽取上报的历史短文本数据,并对数据进行常规数据清洗,数据集成等处理,提高数据质量;步骤二:对完成初步清洗后的数据,历史已处理短文本已人工完成类别标注,对当前未处理的部分数据进行人工类别标注,完成数据预处理过程;(2)完成短文本数据的分词和增量特征向量提取,主要分为以下两个核心步骤:步骤一:基于Python的三方库Jieba分词对清洗后的短文本内容进行分词;步骤二:提出了增量特征向量,并结合TF-IDF进行关键词提取,若关键词过少,则直接使用全部分词词组作为最终的分类参数输入;(3)建立基于贝叶斯的短文本分类模型;(4)对已处理的数据集合划分为训练集和测试集,进行分类模型训练,并根据训练集的结果进行模型的优化;(5)根据已训练好的模型,输入未知类别的短文本数据,输出为当前输入文本属于每个类别的概率,选取概率最大的类别作为最终分类类别的结果。

关 键 词:短文本分类  贝叶斯 短文本  分类  训练集  分类模型训练  数据预处理  电子政务  核心步骤  类别标注  输入文本  数据集合 向量提取  增量特征  智慧城市  测试集  概率  分词  输出  智能  优化  

IPC专利分类号:G06F16/35(20190101);G06F16/31(20190101);G06F16/335(20190101);G06K9/62(20060101)

参考文献:

正在载入数据...

二级参考文献:

正在载入数据...

耦合文献:

正在载入数据...

引证文献:

正在载入数据...

二级引证文献:

正在载入数据...

同被引文献:

正在载入数据...

版权所有©重庆科技学院 重庆维普资讯有限公司 渝B2-20050021-7
 渝公网安备 50019002500408号 违法和不良信息举报中心