去除停用词的词频分析代码的编码错误

helloTOM

1. import codecs as cs
   
2. import jieba as jb      
   
3. import pandas as pd
   
4. 
   
5. 
   
6. f = cs.open("3k.txt","rb")
   
7. lines = f.readlines()
   
8. f.close()
   
9. data = []
   
10. dic ={}
    
11. for each in lines:
    
12.         bad = jb.cut_for_search(each)
    
13.         data.append(bad)
    
14. 
    
15. for eachline in data:
    
16.         for eachword in eachline:
    
17.                 if eachword in dic:
    
18.                         dic[eachword] += 1
    
19.                 else:
    
20.                         dic[eachword] = 1
    
21. sorteddic = sorted(dic.items(),key=lambda x:x[1],reverse=True)
    
22. 
    
23. 这一段代码没有问题（代码是本站大神写的）
    
24. 得出的词频里有不少无用的语气词和标点符号
    
25. 我就想用停用词除去这些没用的数据 但是报编码错误。。不知道怎么处理{:5_100:} {:5_100:}
    
26. 
    
27. 
    
28. 
    
29. words_df=pd.DataFrame({"sorteddic":sorteddic})
    
30. stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep="\t",names=["stopword"],encoding="utf-8")
    
31. words_df=words_df[~words_df.sorteddic.isin(stopwords.stopword)]
    
32. print(words_df)
    

复制代码

报错为：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte

水忆微凉

我试了一下，这个错误是因为stopwords.txt的编码方式不对，把stopwords.txt另存为UTF8编码格式就可以用啦。

水忆微凉

可是结果看不懂呀，能解释一下吗？

helloTOM

水忆微凉 发表于 2018-5-30 21:10
可是结果看不懂呀，能解释一下吗？

第一段是使用结巴模块进行词频分析
第二段是把词频里的停用词去了
应该是这样。。我从网上找的代码。。。拼接上去的。。。（我也有点晕，网上的资料太水了。。。。）

另外改成UTF-8就可以了吗？ 它的报错信息不应该是UTF-8不能解码什么的吗？？？？