感知机的分词模型在线学习训练后的模型是否支持本地保存

liangzongchang · June 10, 2020, 8:21am

感知机的分词模型在线学习训练后，支持不支持将在在线学习后的模型进行本地保存，以免下一次使用重新在线学习

bqwu · June 20, 2020, 7:24am

我个人理解暂时可能还不支持这样做，在save接口里面没有找到这种功能。不过把在线学习的样本加入训练集重新训练，然后再保存，这样下一次就可以使用了。

hankcs/HanLP/blob/180f7c0cd2083762aabcc2def9b3a13c4c77b675/src/main/java/com/hankcs/hanlp/model/perceptron/model/LinearModel.java#L193




/**
 * 保存
 *
 * @param modelFile    路径
 * @param featureIdSet 特征集（有些数据结构不支持遍历，可以提供构造时用到的特征集来规避这个缺陷）
 * @param ratio        压缩比
 * @param text         是否输出文本以供调试
 * @throws IOException
 */
public void save(String modelFile, Set<Map.Entry<String, Integer>> featureIdSet, final double ratio, boolean text) throws IOException
{
    float[] parameter = this.parameter;
    this.compress(ratio, 1e-3f);


    DataOutputStream out = new DataOutputStream(new BufferedOutputStream(IOUtil.newOutputStream(modelFile)));
    save(out);
    out.close();


    if (text)
    {