[已解决]字符串查重问题求教

老笨啊

手头有一堆字符串，里面可能因为含有空格或是其他特殊字符串等，导致部分本身相同的字符串，被识别为不同的字符串。
我网搜了下办法，自己写了代码，想进行查重处理。可是却报错了，求指点。。
代码如下：

1. from difflib import SequenceMatcher as seq
   
2. dict2 = {}
   
3. n = 0
   
4. for i in name:
   
5.     for j in name:   #name是列表，我将字符串转成列表。考虑进行两两比较
   
6.         if (seq(None,i,j).ratio) > 0.5:  #预先考虑重复率达到50%以上的，将其列出，归类到一起，再用肉眼检查是否重复。
   
7.             dict2[n] = []
   
8.             dict2[n].append(i)
   
9.             dict2[n].append(j)
   
10.             n +=1
    
11. dict2

复制代码

报错内容：  TypeError:'>' not supported between instances of 'method' and 'float'

最佳答案

月排行榜 / 总排行榜

凌九霄

2019-3-30 08:54:49

第一个已经和后面的对比过了，第二个进行对比时，就不要再和第一个进行对比了。。

1. from difflib import SequenceMatcher as seq
   
2. dict2 = {}
   
3. n = 0
   
4. for i in name:
   
5.     for j in name[i+1:]:   #name是列表，我将字符串转成列表。考虑进行两两比较
   
6.         if (seq(None,i,j).ratio()) > 0.5:  #预先考虑重复率达到50%以上的，将其列出，归类到一起，再用肉眼检查是否重复。
   
7.             dict2[n] = []
   
8.             dict2[n].append(i)
   
9.             dict2[n].append(j)
   
10.             n +=1
    
11. dict2

复制代码

跳转到最佳答案楼层

老笨啊

刚自己找出问题了，是ratio后面要加个括号。。
但是我觉得这个代码有问题，字符串进行两两比对时，其实如果第一个已经和后面的对比过了，第二个进行对比时，就不要再和第一个进行对比了。。这样的代码应该怎么改法？

凌九霄

直接正则替换掉不需要的字符，然后集合去重

老笨啊

凌九霄 发表于 2019-3-29 17:04
直接正则替换掉不需要的字符，然后集合去重

我也试过。。问题是如果字符串中含有空格等，正则去掉一些通用字符后，你再去对比，会导致根本不知道之前的原始字符是什么了。。
我主要是想进行字符串的查重，然后进行替换处理。而字符串处理完会变得面目全非。。

凌九霄

第一个已经和后面的对比过了，第二个进行对比时，就不要再和第一个进行对比了。。

1. from difflib import SequenceMatcher as seq
   
2. dict2 = {}
   
3. n = 0
   
4. for i in name:
   
5.     for j in name[i+1:]:   #name是列表，我将字符串转成列表。考虑进行两两比较
   
6.         if (seq(None,i,j).ratio()) > 0.5:  #预先考虑重复率达到50%以上的，将其列出，归类到一起，再用肉眼检查是否重复。
   
7.             dict2[n] = []
   
8.             dict2[n].append(i)
   
9.             dict2[n].append(j)
   
10.             n +=1
    
11. dict2

复制代码