hanlp2.0自训练的模型分词速度非常的慢

何博士,你好,我使用hanlp2.0自己训练了一个模型,然后用它来分词,每条句子大概用到500ms~3000ms不等,句子长度有长有短,使用的是CPU进行分词,这个是什么原因呢。

定位发现,component.py +474行 “Y = self.model.predict_on_batch(X)”很耗时,几乎所有的耗时都在这里了。不知道有什么方法可以解决吗?

深度学习必然比1.x的线性模型慢,特别是BERT之类的大模型,特别是没有GPU。解决方法当然是上GPU,加大batch size,用2.1的small模型。

好的,谢谢何博士