Pre-trained tokenizers

[linsuxin]

由于文档中列出了许多预训练的分词器模型，我怎么知道应该使用哪个模型？

我想了解一下它们的性能有何不同? ，并需要知道它们的准确度。

感谢！

[wwwsj]

都试一试就知道了