中文NER据集整理

写在前面

大家好，我是刘聪NLP。

最近在做NER相关内容，跟实习生一起整理了一份中文NER数据，有已经开源数据，也有比赛数据，不找不知道，一找吓一跳，共整理了「22个」可用于中文NER任务。

之前，弄个Github项目，记录了自己整理的一些数据集，包括：中文摘要数据、中文机器阅读理解数据集和中文文本匹配数据。这次也将中文NER数据集，放到其中，

原始数据描述

数据集包括：CMeEE数据集、IMCS21_task1数据集、CCKS2017_task2数据集、CCKS2018_task1数据集、CCKS2019_task1数据集、CLUENER2020数据集、MSRA数据集、NLPCC2018_task4数据集、CCFBDCI数据集、MMC数据集、WanChuang数据集、PeopleDairy1998数据集、PeopleDairy2004数据集、GAIIC2022_task2数据集、WeiBo数据集、ECommerce数据集、FinanceSina数据集、BoSon数据集、Resume数据集、Bank数据集、FNED数据集和DLNER数据集等22个数据集。

清洗数据描述

为了方便数据使用，将上述数据进行了“BIO”标签转化，并每个json文件中的每行为一个独立的json数据，包含“text”和“labels”两个字段，如下：

数据样本及类别如下：

• CMeEE数据集，共20000条样本，9种类别，为sym、dep、dru、pro、equ、dis、mic、ite和bod。
• IMCS21_task1数据集，共98452条样本，5种类别，为Operation、Drug_Category、Medical_Examination、Symptom和Drug。
• CCKS2017_task2数据集，共2229条样本，5种类别，为symp、dise、chec、body和cure。
• CCKS2018_task1数据集，共797条样本，5种类别，为症状和体征、检查和检验、治疗、疾病和诊断、身体部位。
• CCKS2019_task1数据集，共1379条样本，6种类别，为解剖部位、手术、疾病和诊断、药物、实验室检验、影像检查。
• CLUENER2020数据集，共12091条样本，10种类别，为game、organization、government、movie、name、book、company、scene、position和address。
• MSRA数据集，共48442条样本，3种类别，为LOC、ORG和PER。
• NLPCC2018_task4数据集，共21352条样本，15种类别，为language、origin、theme、custom_destination、style、phone_num、destination、contact_name、age、singer、song、instrument、toplist、scene和emotion。
• CCFBDCI数据集，共15723条样本，4种类别，为LOC、GPE、ORG和PER。
• MMC数据集，共3498条样本，18种类别，为Level、Method、Disease、Drug、Frequency、Amount、Operation、Pathogenesis、Test_items、Anatomy、Symptom、Duration、Treatment、Test_Value、ADE、Class、Test和Reason。
• WanChuang数据集，共1255条样本，13种类别，为药物剂型、疾病分组、人群、药品分组、中药功效、症状、疾病、药物成分、药物性味、食物分组、食物、证候和药品。
• PeopleDairy1998数据集，共27818条样本，3种类别，为LOC、ORG和PER。
• PeopleDairy2004数据集，共286268条样本，4种类别，为LOC、ORG、PER、T。
• GAIIC2022_task2数据集，共40000条样本，52种类别，类别被脱敏。
• WeiBo数据集，共1890条样本，7种类别，为LOC.NAM、LOC.NOM、PER.NAM、ORG.NOM、ORG.NAM、GPE.NAM和PER.NOM。
• ECommerce数据集，共7998条样本，4种类别，为MISC、XH、HPPX和HCCX。
• FinanceSina数据集，共1579条样本，4种类别，为LOC、GPE、ORG和PER。
• BoSon数据集，共2000条样本，6种类别，为time、product_name、person_name、location、org_name和company_name。
• Resume数据集，共4761条样本，8种类别，为NAME、EDU、LOC、ORG、PRO、TITLE、CONT和RACE。
• Bank数据集，共10000条样本，4种类别，为BANK、COMMENTS_ADJ、COMMENTS_N和PRODUCT。
• FNED数据集，共10500条样本，7种类别，为LOC、GPE、ORG、EQU、TIME、FAC和PER。
• DLNER数据集，共28897条样本，9种类别，为Location、Thing、Abstract、Organization、Metric、Time、Physical、Person和Term。

数据下载

原始数据在上述的数据链接中就可以下载到，如果下载不到，或者想要直接获取所有数据的同学，可以私聊我。

清洗及格式转换后的数据，

数据读取

读取代码如下：

结果如下：

总结

数据是基础，有了数据不一定可以SOTA，但是没有数据式万万不能SOTA的。

如果大家有其他的中文NER数据，欢迎补充！！！可以在评论中提出、也可以私聊我，也可以在github上pr。

请多多关注知乎「刘聪NLP」，有问题的朋友也欢迎加我微信「logCong」私聊，交个朋友吧，一起学习，一起进步。我们的口号是“生命不止，学习不停”。

往期推荐：