HanLP 2.0 alpha版发布

原文链接: https://www.hankcs.com/nlp/hanlp-2-0-alpha-release.html

面向生产环境的多语种NLP工具包,基于 TensorFlow 2.0,目标是普及学术界最前沿的技术到工业界。H…

4 Likes

这是2.0的快速上手指南,一个简易版的中文文档。

2 Likes

大佬,有没有pyhanlp 的api文档呀

1 Like

pyhanlp的文档跟Java 1.x一模一样,直接看1.x就是了。

1 Like

有一个问题,哪里体现出GPU运行了?
我看到提示信息大部分都是CPU,然而我是在有GPU和tensorflow环境上运行的呀。

Executing op Range in device /job:localhost/replica:0/task:0/device:CPU:0
Executing op Cast in device /job:localhost/replica:0/task:0/device:CPU:0
Executing op HashTableV2 in device /job:localhost/replica:0/task:0/device:CPU:0
Executing op LookupTableImportV2 in device /job:localhost/replica:0/task:0/device:CPU:0

1 Like

一直在看自然语言处理入门使用pynlp,非常好用 ,现在这个hanlp2.0新版本 如何像1.x版本中使用自定义词典 盼回复 谢谢

1 Like

提问先搜索。NER任务模型考虑外部词典

1 Like

hancks老师您好,我最近看了老师您说的test/train中的训练demo,有个疑惑,在 train_large_rnn_cws.py的demo中:

tokenizer.fit('data/cws/large/all.txt',
              CTB6_CWS_VALID,
              save_dir,
              embeddings={'class_name': 'HanLP>Word2VecEmbedding',
                          'config': {
                              'trainable': True,
                              'filepath': RADICAL_CHAR_EMBEDDING_100,
                              'expand_vocab': False,
                              'lowercase': False,
                          }},
              early_stopping_patience=5,
              batch_size=64,
              max_seq_len=64,
              metrics='accuracy'
              )
tokenizer.load(save_dir, metrics='f1')

有一个训练的语料库的路径是data/cws/large/all.txt,这个路径我看不是需要下载的训练库路径,是自定义语料库的意思么?还是说老师在其他什么地方有提供该语料库,找了一下没有找到额

1 Like

该语料库是版权受限的,抱歉无法提供。

1 Like

哦哦,明白了,谢谢

1 Like

试用了2.0版本非常惊艳,但是有个问题就是模型会自动下载到C盘中的AppData\Roaming文件夹下,请问应该怎么设置自定义的路径,把模型文件移出C盘?C盘已经飘红,快炸了:rofl:

1 Like

老师,正式版是否于本月发布,期待中。。。

1 Like

alpha和正式版之间还隔了个beta呢,不急,正在搞好几个大的功能。

1 Like

能不能先更新下分词的模型啊,现在的模型分出来的结果不太好用啊。 目前还得靠 1.7 来分。

暂时还不行,正在对内部的架构做比较大的改动。

您好,有HanLP2.0的版本蓝图吗

This post was flagged by the community and is temporarily hidden.

我的是安装的Anaconda,
C:\Anaconda3\Lib\site-packages\hanlp\utils\io_util.py 120行 hanlp_home_default()方法里改路径试试

你好,我用pip3 install hanlp 指令安装,发现还是下载tensorflow,因为国内比较慢,我就用了清华的源安装了tensorflow,按理说我已经安装过了,为什么hanlp还是再安装一次。这个下载速度慢,很难成功,有什么办法解决吗?