python文本分析 主题模型

chunguang

在做主题模型的时候，出现了以下的现象，求大神：

1. text = open(r'C:\Users\lenovo\Desktop\自然语言处理\白沙分词.txt', 'r', encoding='gbk').read()
   
2. dictionary = corpora.Dictionary([text])
   
3. print(dictionary.token2id)
   

复制代码

错误如下：

程序员的救赎

dictionary = corpora.Dictionary([[text]])

chunguang

程序员的救赎 发表于 2018-9-4 12:14
dictionary = corpora.Dictionary([[text]])

我还想请问一下，做主题模型之前的数据是分好词的把

程序员的救赎

chunguang 发表于 2018-9-4 16:00
我还想请问一下，做主题模型之前的数据是分好词的把

没分的话，自己分一下就好了。

chunguang

程序员的救赎 发表于 2018-9-4 17:58
没分的话，自己分一下就好了。

但我在做完以后，主题词只有一个，是怎回事？而且还有以下提醒

程序员的救赎

chunguang 发表于 2018-9-4 18:31
但我在做完以后，主题词只有一个，是怎回事？而且还有以下提醒

把完整的代码和数据上传过来。

chunguang

程序员的救赎 发表于 2018-9-4 18:52
把完整的代码和数据上传过来。

1. from gensim import corpora,models
   
2. 
   
3. 
   
4. text = open(r'C:\Users\lenovo\Desktop\自然语言处理\白沙分词.txt', 'r', encoding='gbk').read()
   
5. dictionary = corpora.Dictionary([[text]])
   
6. print(dictionary.token2id)
   
7. corpus = [dictionary.doc2bow([corpus]) for corpus in text]
   
8. tfidf = models.TfidfModel(corpus)
   
9. corpus_tfidf = tfidf[corpus]
   
10. total_topics = 2
    
11. lsi = models.LsiModel(corpus_tfidf,id2word=dictionary,num_topics=total_topics)
    
12. for index, topic in lsi.print_topics(total_topics):
    
13.     print('Topic #'+str(index+1))
    
14.     print(topic)

复制代码

程序员的救赎

应该跟你前面语料没有分词有关，我刚看完了corpora的文档内容，
增加了分词的代码，由于主题模型我还没做过，
你先试着增加分词后再思考思考

1. from gensim import corpora,models
   
2. import jieba
   
3. 
   
4. text = open(r'C:\Users\asus\Desktop\白沙分词.txt', 'r', encoding='gbk').readlines() # 不懂的在www.baidu.com输入 'read(), readline(), readlines()的区别'
   
5. print(text)
   
6. word_list = []
   
7. for i in text:
   
8.     word_list.extend(list(jieba.cut(i))) # 用结巴分词
   
9. word_list = [word for word in word_list if word.strip()]  # 去除多余的换行符跟空格
   
10. print(word_list)
    
11. dictionary = corpora.Dictionary([word_list])
    
12. print(dictionary.token2id)

复制代码

还有你的报错信息，翻译如下：
RuntimeWarning：在true_divide中遇到无效值

原因分析在百度上找得到。

chunguang

程序员的救赎 发表于 2018-9-6 00:42
应该跟你前面语料没有分词有关，我刚看完了corpora的文档内容，
增加了分词的代码，由于主题模型我还没做 ...

问题是我这个已经是分完词的了