《自然语言处理入门》中结构化感知机可以添加用户自定义词典,并影响分词结果。
激活用户词典的相关示例代码在《自然语言处理入门》的196页:
CustomDictionary.insert(“川普”, “nrf 1”)
segment.enableCustomDictionaryForcing(True)
print(segment.seg(text)) //与川普通电话 ===》 与 川普 通电话
结构化感知机的输出结果为[B, M, E, S]的序列。通过[B, M, E, S]序列可以将句子转化为词语序列。这就已经算是一个完整的分词流程了。请问用户自定义词典是如何与结构化感知机结合起来的?我试着跟踪了下代码,但是没太看懂。