好奇,有没有那种工具,NLP任务数据读取、转化的python包

好奇,有没有那种工具,NLP任务数据读取、数据转化的python包。
似乎各个子任务的评估指标的包还可以,不过专门针对NLP数据读取、预处理的比较少见。
比如读取多类分类、多标签分类数据的,以及各种存储格式。
又或者NER任务,BIO、BMES、span格式语料转换的包。

1 Like

HanLP的datasets就可以,还在逐步完善中。

Huggingface的datasets也可以,但大陆网络基本下载不了。

哦哦,谢谢,我去看看diamagnetic怎么写的