[已解决]文件内容 去重 希望解答 谢谢

Amgalang

我的文件是这样的不用分词，是去掉回车符的文件，词和词以一个空格在分割，那么怎么把文件中的词去掉重复项并显示有几个为重复的词数值 打印到一个新文件呢。拜托

最佳答案

月排行榜 / 总排行榜

yjsx86

2018-10-27 12:54:23

1. import re
   
2. with open('ttt.txt') as f:
   
3.     text = f.read()
   
4.     textList = re.split(r'\s+',text.replace('\n',''))
   
5.     d = dict.fromkeys(set(textList), 0)
   
6.     rs = []
   
7.     for x in textList:
   
8.         d[x] += 1
   
9.     for k, v in d.items():
   
10.         if v > 1:
    
11.             print(k, v)

复制代码

跳转到最佳答案楼层

爱学习的懒懒君

可以试一试桶排序的思想，如果是python的话桶可以是一个字典，桶中每个元素形式为 词名：单词出现次数，桶名为Words
遍历文件中所有单词，对每一单词，进行如下操作：
1.查看桶中是否有以该单词为键的索引
2.如果没有添加该键，并将其值初始化为1
3.如果有该键值加一
如对下一个词apple，没有出现过，Words['apple'] = 1
又如果fishc已经出现，则 Words['fishc'] += 1

最后遍历桶中每一个键，打印出键值，这样每个单词就只出现一次啦
而且键的值就是单词出现的次数

爱学习的懒懒君

核心代码

1. for each_words in file_words:
   
2.         if(each_words in Words):
   
3.                 Words[each_words] += 1
   
4.         else:
   
5.                 Words[each_words] = 1

复制代码

yjsx86

1. import re
   
2. with open('ttt.txt') as f:
   
3.     text = f.read()
   
4.     textList = re.split(r'\s+',text.replace('\n',''))
   
5.     d = dict.fromkeys(set(textList), 0)
   
6.     rs = []
   
7.     for x in textList:
   
8.         d[x] += 1
   
9.     for k, v in d.items():
   
10.         if v > 1:
    
11.             print(k, v)

复制代码

Amgalang

yjsx86 发表于 2018-10-27 12:54

谢谢你

Amgalang

爱学习的懒懒君 发表于 2018-10-27 10:02
核心代码

谢谢你

Amgalang

爱学习的懒懒君 发表于 2018-10-27 09:58
可以试一试桶排序的思想，如果是python的话桶可以是一个字典，桶中每个元素形式为 词名：单词出现次数，桶 ...

谢谢你了

Amgalang

yjsx86 发表于 2018-10-27 12:54

您好，我的源文件稍微改动了一下，每个文字一个行了，那么您回复的这段代码怎么修改呢？现在是不报错但也没有内容出来，谢谢您，麻烦啦

Amgalang

Amgalang 发表于 2018-10-29 17:34
您好，我的源文件稍微改动了一下，每个文字一个行了，那么您回复的这段代码怎么修改呢？现在是不报错但也 ...

您好，我的源文件稍微改动了一下，每个文字一个行了，那么您回复的这段代码怎么修改呢？现在是不报错但也没有内容出来，谢谢您，麻烦啦

Amgalang

yjsx86 发表于 2018-10-27 12:54

知道了，谢谢哒 问题已解决