ERNIE-Gram中文MTL模型发布

经过近两周的训练,我们发布了ERNIE-Gram中文MTL模型。ERNIE-Gram是一种混合ngram颗粒度的预训练语言模型,是SuperGLUE目前的榜首。

同时,我们对内部语料进行了少量的增强与校对,所以准确率并非完全具备可比性。目前ERNIE-Gram在该语料库的准确率请参考:

lang corpora model tok pos ner dep con srl sdp lem fea amr
fine coarse ctb pku 863.00 ud pku msra ontonotes SemEval16 DM PAS PSD
zh open small 97.25 - 96.66 - - - - - 95.00 84.57 87.62 73.40 84.57 - - - - - -
base 97.50 - 97.07 - - - - - 96.04 87.11 89.84 77.78 87.11 - - - - - -
close small 96.70 95.93 96.87 97.56 95.05 - 96.22 95.74 76.79 84.44 88.13 75.81 74.28 - - - - - -
base 97.52 96.44 96.99 97.59 95.29 - 96.48 95.72 77.77 85.29 88.57 76.52 73.76 - - - - - -
ernie 96.95 97.29 96.76 97.64 95.22 - 97.31 96.47 77.95 85.67 89.17 78.51 74.10 - - - - - -

可见该模型在span类型的任务上表现突出,特别是NER和SRL,但对细颗粒度分词则表现不佳。

本地用户可通过CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ERNIE_GRAM_ZH加载,RESTful用户已经生效。

3 Likes

用相同的一批语料进行了一下测试,处理速度比原来提高了近80%:+1:

1 Like