文本词频统计3

gzj137070928

# 文本词频统计3
# threekingdomsV2：找一个三国演义的文件，保存为threekingdoms.txt，放在同一目录里面
# 记录输出出现次数最多的前十五个人物名输出
# 该版本通过设置排除非人名的词，进一步优化后精确统计：
excludes = {"将军", "荆州", "却说", "二人", "不可", "不能",\
            "如此", "商议", "如何", "左右", "军士", "军马",\
            "引兵", "次日", "大喜", "今日", "天下", "东吴",\
            "于是", "不敢", "魏兵", "陛下", "一人", "人马",\
            "不知", "汉中", "主公", "只见", "众将", "后主",\
            }

1. import jieba
   
2. 
   
3. filename = "threekingdoms.txt"
   
4. txt = open(filename, "r", encoding="utf-8").read()
   
5. words = jieba.lcut(txt)
   
6. excludes = {"将军", "荆州", "却说", "二人", "不可", "不能",\
   
7.             "如此", "商议", "如何", "左右", "军士", "军马",\
   
8.             "引兵", "次日", "大喜", "今日", "天下", "东吴",\
   
9.             "于是", "不敢", "魏兵", "陛下", "一人", "人马",\
   
10.             "不知", "汉中", "主公", "只见", "众将", "后主",\
    
11.             }
    
12. counts = {}
    
13. for word in words:
    
14.     if len(word)==1:
    
15.         continue
    
16.     elif word == "诸葛亮" or word == "孔明曰":
    
17.         rword = "孔明"
    
18.     elif word == "玄德" or word == "玄德曰":
    
19.         rword = "刘备"
    
20.     elif word == "关公" or word == "云长":
    
21.         rword = "关羽"
    
22.     elif word == "孟德" or word == "丞相":
    
23.         rword = "曹操"
    
24.     else:
    
25.         rword = word
    
26.     counts[rword] = counts.get(rword, 0) + 1
    
27. for word in excludes:
    
28.     del counts[word]
    
29. items = list(counts.items())
    
30. items.sort(key=lambda x:x[1],reverse=True)
    
31. # 将出现次数最多的前十五个人物名输出
    
32. for i in range(15):
    
33.     word, count = items[i]
    
34.     print("{0:<10}{1:>5}".format(word, count))
    

复制代码