hanlp进行句法分析时分词错误

Ethenlalala · March 22, 2021, 3:43am

这里“一对一”被分为三个词[“一”, “对”, “一”], 整个句法结构有点混乱，这个有其他办法进行改善吗？

hankcs · March 28, 2021, 12:18am

你可以试试自定义词典

hankcs/HanLP/blob/master/plugins/hanlp_demo/hanlp_demo/zh/demo_custom_dict.py

# -*- coding:utf-8 -*-
# Author: hankcs
# Date: 2020-12-15 22:26
import hanlp
from hanlp.components.mtl.multi_task_learning import MultiTaskLearning
from hanlp.components.mtl.tasks.tok.tag_tok import TaggingTokenization
from tests import cdroot

cdroot()
HanLP: MultiTaskLearning = hanlp.load(hanlp.pretrained.mtl.CLOSE_TOK_POS_NER_SRL_DEP_SDP_CON_ELECTRA_SMALL_ZH)
tok: TaggingTokenization = HanLP['tok/fine']

# tok.dict_force = tok.dict_combine = None
# print(f'不挂词典:\n{HanLP("商品和服务行业")["tok/fine"]}')
#
# tok.dict_force = {'和服', '服务行业'}
# print(f'强制模式:\n{HanLP("商品和服务行业")["tok/fine"]}')  # 慎用，详见《自然语言处理入门》第二章
#
# tok.dict_force = {'和服务': ['和', '服务']}
# print(f'强制校正:\n{HanLP("正向匹配商品和服务、任何和服务必按上述切分")["tok/fine"]}')

This file has been truncated. show original

Ethenlalala · March 29, 2021, 3:15am

感谢您的回复。

Ethenlalala · March 29, 2021, 12:25pm

您好，hanlp2.1自定义词典是否支持利用词汇、词性、词频信息进行分词？如果可以要怎么使用，没有找到相关的资料，谢谢。

hankcs · April 3, 2021, 1:45am

不支持，这些措施能做的现有的优先级规则也能做。

Ethenlalala · April 6, 2021, 9:38am

好的，谢谢