您好,想问一下中文词向量如何评测呢,看完《自然语言处理入门》后,感觉只有如何使用词向量,没有评价词向量好坏与优缺,谢谢~
好问题,embedding的评测方法大致分为intrinsic和extrinsic两种:
- intrinsic指的是在embedding内部直接评测的任务。比如king - man + woman=?,答案是queen之类的。中文应该有这个任务的翻译版本。
- extrinsic指的是借助外部任务间接评测的方法。比如把embedding代入到文本分类中,测试性能的提升有多少。现在评价BERT、RoBERTa之类contextual embedding,也是借助GLUE、CLUE之类的benchmark。
1 Like