第10章基于其他统计指标的文本聚类

bqwu · May 24, 2020, 1:22pm

大家好，想请问一个问题，在本书第293页，10.2.2节中提到了词频以外的3种统计指标。书上的示例是基于词频来做的K均值聚类。如果想实现基于其他统计指标的文本聚类，比如词向量，不知道HanLP中是否有相关模块来实现？我找了一下代码，但不是很清楚。想问一下是用KMeansClustering的类来做吗？如果这样，是不是必须先生成好文档向量存到文件里再读入？不知道有没有更优的解法。谢谢～

hankcs · May 29, 2020, 3:58pm

override 这个方法就可以了：

github.com

hankcs/HanLP/blob/19809f35ab4ba719091f70813e2c3689fe670ca7/src/main/java/com/hankcs/hanlp/mining/cluster/ClusterAnalyzer.java#L87


        }
    }
    List<String> wordList = new ArrayList<String>(termList.size());
    for (Term term : termList)
    {
        wordList.add(term.word);
    }
    return wordList;
}


protected SparseVector toVector(List<String> wordList)
{
    SparseVector vector = new SparseVector();
    for (String word : wordList)
    {
        int id = id(word);
        Double f = vector.get(id);
        if (f == null)
        {
            f = 1.;
            vector.put(id, f);

bqwu · May 30, 2020, 8:08am

ok，谢谢hankcs老师

bqwu · May 30, 2020, 8:10am

请问用KMeansClustering来做，除了麻烦一点，应该没问题吧？就是先生成文档向量，保存到文件，在用KMeansClustering读入来处理？
谢谢～

hankcs · June 5, 2020, 4:57pm

word2vec里的KMeansClustering效率比ClusterAnalyzer低。

bqwu · June 6, 2020, 12:02pm

好的，谢谢hankcs老师。另外想请问一下，如果想指定随机数种子该在哪里去设置或改动呢？因为每次聚类的结果可能会有不同，我想能重复结果。谢谢～

hankcs · June 12, 2020, 3:46pm

你搜索一下random字样吧。

bqwu · June 13, 2020, 8:00am

谢谢，找到了

bqwu · June 19, 2020, 9:27am

hankcs老师好，我自己尝试了一下，修改了Cluster中的代码指定了随机数种子，然后在ClusterAnalyzer的这行代码，在初始化实例的时候传入了一个整数指定了随机数种子。现在的结果是簇的标签每次都可以复现了，比如这一类的编号会一直为0，但每个簇内的具体元素还是有一定的不确定性，不知道还要改哪里。是151行中的cluster.section中还要再改什么吗？研究了一下，没有搞清楚，求指教，谢谢～

github.com

hankcs/HanLP/blob/180f7c0cd2083762aabcc2def9b3a13c4c77b675/src/main/java/com/hankcs/hanlp/mining/cluster/ClusterAnalyzer.java#L146


 * @param nclusters 簇的数量
 * @return 指定数量的簇（Set）构成的集合
 */
public List<Set<K>> kmeans(int nclusters)
{
    if (nclusters > size())
    {
        logger.err("传入聚类数目%d大于文档数量%d，已纠正为文档数量\n", nclusters, size());
        nclusters = size();
    }
    Cluster<K> cluster = new Cluster<K>();
    for (Document<K> document : documents_.values())
    {
        cluster.add_document(document);
    }
    cluster.section(nclusters);
    refine_clusters(cluster.sectioned_clusters());
    List<Cluster<K>> clusters_ = new ArrayList<Cluster<K>>(nclusters);
    for (Cluster<K> s : cluster.sectioned_clusters())
    {
        s.refresh();

hankcs · June 19, 2020, 5:12pm

应该只有如下一个随机数发生器：

github.com

hankcs/HanLP/blob/19809f35ab4ba719091f70813e2c3689fe670ca7/src/main/java/com/hankcs/hanlp/mining/cluster/Cluster.java#L36




public Cluster()
{
    this(new ArrayList<Document<K>>());
}


public Cluster(List<Document<K>> documents)
{
    this.documents_ = documents;
    composite_ = new SparseVector();
    random = new Random();
}


/**
 * Add the vectors of all documents to a composite vector.
 */
void set_composite_vector()
{
    composite_.clear();
    for (Document<K> document : documents_)
    {

每个簇内元素是无序的，但控制了随机数之后应该结果是确定的。建议单步一下。

bqwu · June 20, 2020, 6:38am

好的，谢谢hankcs老师