使用open_base.py脚本训练的模型，对dict_combine校正模式不起作用

EnigmaHong · March 12, 2021, 8:03am

使用open_base.py脚本训练的模型，对dict_combine校正模式不起作用。在保存模型路径的配置文件config.json中发现"dict_force": null, “dict_combine”: null，这两个参数都为null，请问是否需要设置这两个参数，该如何设置？谢谢

hankcs · March 12, 2021, 2:26pm

你可以直接加到TaggingTokenization的构造函数里（不推荐），可以在训练完毕后动态设置：

github.com

hankcs/HanLP/blob/master/plugins/hanlp_demo/hanlp_demo/zh/demo_custom_dict.py

# -*- coding:utf-8 -*-
# Author: hankcs
# Date: 2020-12-15 22:26
import hanlp
from hanlp.components.mtl.multi_task_learning import MultiTaskLearning
from hanlp.components.mtl.tasks.tok.tag_tok import TaggingTokenization
from tests import cdroot

cdroot()
HanLP: MultiTaskLearning = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH)
tok: TaggingTokenization = HanLP['tok/fine']

# tok.dict_force = tok.dict_combine = None
# print(f'不挂词典:\n{HanLP("商品和服务行业")["tok/fine"]}')
#
# tok.dict_force = {'和服', '服务行业'}
# print(f'强制模式:\n{HanLP("商品和服务行业")["tok/fine"]}')  # 慎用，详见《自然语言处理入门》第二章
#
# tok.dict_force = {'和服务': ['和', '服务']}
# print(f'强制校正:\n{HanLP("正向匹配商品和服务、任何和服务必按上述切分")["tok/fine"]}')

This file has been truncated. show original