文献类型：专利

专利类型：发明专利

是否失效：否

是否授权：否

申 请 号：CN201810951636.2

申 请 日：20180821

发 明 人：水新莹 张宇光 黄亚坤

申 请 人：安徽讯飞智能科技有限公司

申请人地址：241000 安徽省芜湖市鸠江区皖江财富广场A1座9楼

公 开 日：20210924

公 开 号：CN109165294B

代 理 人：项磊

代理机构：34138 芜湖思诚知识产权代理有限公司

语　　种：中文

摘　　要：本发明公开了一种基于贝叶斯分类的短文本分类方法，涉及智慧城市和电子政务领域，该方法包括有以下步骤：(1)数据预处理与类别标注；(2)完成短文本数据的分词和增量特征向量提取，主要分为以下两个核心步骤；(3)建立基于贝叶斯的短文本分类模型；(4)对已处理的数据集合划分为训练集和测试集，进行分类模型训练，并根据训练集的结果进行模型的优化；(5)根据已训练好的模型，输入未知类别的短文本数据，输出为当前输入文本属于每个类别的概率，选取概率最大的类别作为最终分类类别的结果，该种基于贝叶斯分类的短文本分类方法能够高效、智能、自动的对短文本内容进行有效的分类。

主 权 项：1.一种基于贝叶斯分类的短文本分类方法，其特征在于，该方法包括有以下步骤：(1)数据预处理与类别标注：步骤一：抽取上报的历史短文本数据，并对数据进行常规数据清洗，数据集成处理，提高数据质量；步骤二：对完成初步清洗后的数据，历史已处理短文本已人工完成类别标注，对当前未处理的部分数据进行人工类别标注，完成数据预处理过程；(2)完成短文本数据的分词和增量特征向量提取，包括以下两个核心步骤：步骤一：基于Python的三方库Jieba分词对清洗后的短文本内容进行分词；步骤二：提取增量特征向量，并结合TF-IDF进行关键词提取，若关键词过少，则直接使用全部分词词组作为最终的分类参数输入；(3)建立基于贝叶斯的短文本分类模型；(4)对已处理的数据集合划分为训练集和测试集，进行分类模型训练，并根据训练集的结果进行模型的优化；(5)根据已训练好的模型，输入未知类别的短文本数据，输出为当前输入文本属于每个类别的概率，选取概率最大的类别作为最终分类类别的结果；所述数据预处理包括有以下四个步骤：步骤一：将原始数据进行清洗分类，利用Kettle将文本分成三个类别，分别是大类序号，小类序号，以及文本；步骤二：将处理好的数据存入数据库；步骤三：利用Jiaba分词对第三个字段的内容也就是纯文本进行分词；步骤四：根据词性将分好的词每行留下三个词存入数据库；所述增量特征向量和TF-IDF特征词提取法进行特征关键词的提取包括以下两个步骤：步骤一：记B＝(B₁,B₂,...,B_u)为从文本中提取的特征词组成的特征向量，将描述特征向量的特征词的词语概括为一个新的特征词B_u+1，给予命名，以此类推，当u＝5,6,...,m便得到增量特征向量B＝(B₁,B₂,.

关 键 词：短文本分类  贝叶斯 短文本  分类  训练集  分类模型训练  数据预处理  电子政务  核心步骤  类别标注  输入文本  数据集合 向量提取  增量特征  智慧城市  测试集  概率  分词  输出  智能  优化  

IPC专利分类号：G06F16/35(20190101);G06F16/31(20190101);G06F16/335(20190101);G06K9/62(20060101)