请教文本分类器中，如何输出多种分类。

jerowang · November 14, 2019, 9:04am

应用场景是对训练文本分类器对文本内容进行分类，但是有许多跨分类文本出现的情况，因此想请教如何对文本分类器输出文本属于各分类的概率大小进行输出，考虑设置阈值对文本打上多分类标签。

hankcs · November 14, 2019, 9:02pm

hankcs/HanLP/blob/0ec10804902417fd2c1294c84b6830482a262d13/src/main/java/com/hankcs/hanlp/classification/classifiers/IClassifier.java#L44


IClassifier enableProbability(boolean enable);


/**
 * 预测分类
 *
 * @param text 文本
 * @return 所有分类对应的分值(或概率, 需要enableProbability)
 * @throws IllegalArgumentException 参数错误
 * @throws IllegalStateException    未训练模型
 */
Map<String, Double> predict(String text) throws IllegalArgumentException, IllegalStateException;


/**
 * 预测分类
 * @param document
 * @return
 */
Map<String, Double> predict(Document document) throws IllegalArgumentException, IllegalStateException;


/**
 * 预测分类

jerowang · December 4, 2019, 3:12am

enableProbability这个接口传false，true还是不调用，predict方法都是输出的归一化治好后的概率，请问是我调用的方法有问题还是其他问题。（注:classify.enableProbability(false)无效）

hankcs · December 4, 2019, 4:07pm

错，这个参数有影响。

github.com

hankcs/HanLP/blob/6d5f7a9a873beb50c9ff07fa81f7875829c7a1f7/src/main/java/com/hankcs/hanlp/classification/classifiers/NaiveBayesClassifier.java#L167


                continue; //如果在模型中找不到就跳过了
            }


            occurrences = entry2.getValue()[0]; //获取其在文档中的频次


            logprob += occurrences * model.logLikelihoods.get(feature).get(category); //将对数似然乘上频次
        }
        predictionScores[category] = logprob;
    }


    if (configProbabilityEnabled) MathUtility.normalizeExp(predictionScores);
    return predictionScores;
}


/**
 * 统计特征并且执行特征选择，返回一个FeatureStats对象，用于计算模型中的概率
 *
 * @param dataSet
 * @return
 */
protected BaseFeatureData selectFeatures(IDataSet dataSet)

jerowang · June 12, 2020, 10:19am

何老师，救命啊。还是不行，enableProbablitity(true/false)，结果是一样的。

hankcs · June 12, 2020, 3:24pm

jerowang · June 15, 2020, 2:19am

感谢您