python自然语言处理，分词处理

chunguang

python在做分词的时候，为什么下列程序运行不了

1. import jieba
   
2. import re
   
3. import jieba.analyse
   
4. from scipy.misc import imread
   
5. from wordcloud import WordCloud
   
6. from wordcloud import ImageColorGenerator
   
7. import matplotlib.pyplot as plt
   
8. from os import path
   
9. 
   
10. def stopwordslist(filepath):  #停用词list
    
11.     stopwords = [line.strip() for line in open(filepath, 'r', encoding='utf-8').readlines()]
    
12.     return stopwords
    
13. 
    
14. def seg_sentence(sentence):  #分词
    
15.     zhongwen_pat = re.compile(r'^[\u4e00-\u9fa5a-zA-Z])
    
16.     cut_list = [c for c in jieba.cut(sentence[0]) if zhongwen_pat.search(c)]
    
17.     cut_set = "".join(cut_list)
    
18.     sentence_seged = jieba.cut(cut_set.strip())
    
19.     stopwords = stopwordslist('C:/Users/lenovo/Desktop/中文停用词.txt')  #这里加载停用词的路径
    
20.     outstr = ''
    
21.     for word in sentence_seged:
    
22.         if word not in stopwords:
    
23.             if word != '\t':   #'\t'是横向制表符，可以理解成空白
    
24.                 outstr += word
    
25.                 outstr += " "
    
26.     return outstr
    
27. 
    
28. inputs = open('C:/Users/lenovo/Desktop/白沙comment.txt', 'r', encoding='gbk')
    
29. outputs = open('C:/Users/lenovo/Desktop/白沙comments3.txt', 'w')
    
30. for line in inputs:
    
31.     line_seg = seg_sentence(line)  # 这里的返回值是字符串
    
32.     outputs.write(line_seg + '\n' )
    
33. outputs.close()
    
34. inputs.close()

复制代码

求大神
数据如下：

塔利班

完全没用过街霸之类的，
但是你运行的代码是这么写的么

1. def seg_sentence(sentence):  #分词
   
2.     zhongwen_pat = re.compile(r'^[\u4e00-\u9fa5a-zA-Z]+
   
3. 
   
4. 求大神
   
5. 数据如下：)

复制代码

chunguang

塔利班 发表于 2018-8-31 17:20
完全没用过街霸之类的，
但是你运行的代码是这么写的么

不是，我改了

塔利班

chunguang 发表于 2018-8-31 17:23
不是，我改了

嗯，这得请大神才能解决了

程序员的救赎

你的报错信息发一下。
还有，停用词文件呢？