文献类型：期刊文章

作　　者：谢海华[1] 李奥林[1] 李亚博[1] 陈志优[1] 程静[1] 吕肖庆[1,2] 汤帜[1,2]

XIE Haihua;LI Aolin;LI Yabo;CHEN Zhiyou;CHENG Jing;LV Xiaoqing;TANG Zhi(State Key Laboratory of Digital Publishing Technology,Peking University Founder Group Co.LTD.,Beijing 100871,China;Wangxuan Institute of Computer Technology,Peking University,Beijing 100871,China)

机构地区：[1]北大方正集团有限公司,数字出版技术国家重点实验室,北京100871 [2]北京大学王选计算机研究所,北京100871

出　　处：《中文信息学报》

基　　金：国家重点研发计划(2019YFB1406302);国家自然科学基金(61472014,61573028,61432020);北京市自然科学基金(4142023);北京市科技新星计划(XX2015B010)。

年　　份：2021

卷　　号：35

期　　号：5

起止页码：38-45

语　　种：中文

收录情况：BDHX、BDHX2020、CSCD、CSCD2021_2022、JST、RCCSE、ZGKJHX、核心刊

摘　　要：由于汉语语义表达的多样性和复杂性,中文错别字自动纠正目前存在很多挑战。现有的错别字纠正算法的性能普遍不够理想,而且需要大量高质量的语料进行训练。该文提出一种基于预训练语言模型的错别字纠正方法CPLM-CSC,能够显著地提高纠错性能。CPLM-CSC采用基于单字级别预训练语言模型来进行错别字检测,并采用掩字语言模型来进行错别字纠正。为了提高纠正性能,CPLM-CSC采用音近、形近字判断等多种筛选纠正结果的方法,并针对一些典型且特殊的错误,例如"的地得"误用,采取了专门的数据增强方法。CPLM-CSC在SIGHAN 2015的评测数据集上进行了测试,取得了0.654的F1值,其性能优于其他模型。

关 键 词：中文错别字纠正  预训练语言模型  单字级别模型  

分 类 号：TP391]