《自然语言处理入门》中实体识别案例PE词性识别问题。。急。。。

我在看了该书的这个章节后,试了下这个战斗机实体识别的案例,发现案例跑出来的结果和书中描述的不同,区别在PE的识别上。如下图。


我使用别的分词器(NLP或者标准分词器)进行分词和词性标注的时候PE的词性都是nx,但是使用PerceptronSegmenter分词器,分出来的结果就如上图中所示。这导致我的实体识别有误。
我的训练数据没问题,训练数据中对PE的词性标识为了nx。

因为语料库小,训练的分词器方差很大,多跑几次试试。

可是,这个测试语句是训练语料中出现过的,训练语料中PF的词性是nx,但是识别出来后就是n,感觉不合理呀。
即使多跑几次同样的训练数据,结果也是一样的。
麻烦大神赐教。

这个示例根本没训练pos模型。你训练一个试试

我按照DemoPlane训练了一个标注模型,并使用这个标注模型构建了PerceptronSegmenter分词器,然后依然有这个问题。即使按照书上的,不训练标注模型,只是单纯的构建一个无入参的PerceptronSegmenter分词器,依然有这个问题大神。

麻烦大神了。

您可以训练一个 PerceptronPOSTagger 试试