opened 02:42AM - 16 Mar 20 UTC
Describe the bug
我需要在tokenizer和tagger后, 直接取到一个"token/tag"拼接的词。故此添加了一个hanlp_get_tokens的function append在pipline里。 详情见下方代码。
实际任务需要预测一万篇文章的分词和tag; 然而在gpu环境下跑大概1/10的loop时oop;
disable了GPU, 用tracemalloc查看发现transform\txt.py内存溢出。
Code to reproduce the issue
Provide a reproducible test case that is the bare minimum...
bug