Pre-trained tokenizers

由于文档中列出了许多预训练的分词器模型,我怎么知道应该使用哪个模型?

我想了解一下它们的性能有何不同? ,并需要知道它们的准确度。

感谢!

都试一试就知道了