麻烦帮忙看看机械压缩去词的代码

维e

我刚刚学着用python做情感分析，跟着一位老师学敲的机械压缩去词的代码，代码没有报错，但也没有成功去掉重复词，搞了半天也没搞懂，请高人帮忙看看，我把前后代码都贴上。分析的数据是从cvs导入的某商品评论内容。

1. data = pd.DataFrame(data['内容'].unique())
   
2. 
   
3. def cutword(strs, reverse=False):
   
4.     s1 = []#存一个字符
   
5.     s2 = []#存第二个字符
   
6.     s = []#存最终结果
   
7.     if reverse:
   
8.         strs = strs[::-1]
   
9.     s1.append(strs[0])
   
10.     for i in strs[1:]:
    
11.         if i ==s1[0]:
    
12.             if len(s2)==0:
    
13.                 s2.append(i)
    
14.             else:
    
15.                 if s1 == s2:
    
16.                     s2 = []
    
17.                     s2.append(i)
    
18.                 else:
    
19.                     s = s+s1+s2
    
20.                     s1 = []
    
21.                     s2 = []
    
22.                     s1.append(i)
    
23.         else:
    
24.             if s1 == s2 and len(s1)>=2 and len(s2)>=2:
    
25.                 s = s + s1
    
26.                 s1 = []
    
27.                 s2 = []
    
28.                 s1.append(i)
    
29.             else:
    
30.                 if len(s2)==0:
    
31.                     s1.append(i)
    
32.                 else:
    
33.                     s2.append(i)
    
34.     if s1 == s2:
    
35.         s = s + s1
    
36.     else:
    
37.         s = s + s1 + s2
    
38.     if reverse :
    
39.         return ''.join(s[::-1])
    
40.     else:
    
41.         return ''.join(s)
    
42. 
    
43. #机械压缩去词
    
44. #用aplly免用for循环
    
45. data2 = data.iloc[:,0].apply(cutword)
    
46. data2 = data2.apply(cutword, reverse = True)
    
47. 
    
48. print('机械压缩去词后：')
    
49. print(len(data2))
    
50. print(type(data2))
    
51. print('---------------')

复制代码

Twilight6

给几行数据内容测试下

维e

Twilight6 发表于 2020-5-28 09:02
给几行数据内容测试下

测试过了，就是输入什么数据，输出的还是什么数据，不能实现去重的效果

Twilight6

维e 发表于 2020-5-28 19:34
测试过了，就是输入什么数据，输出的还是什么数据，不能实现去重的效果

我意思是 你给几行数据 ....

维e

Twilight6 发表于 2020-5-28 19:37
我意思是 你给几行数据 ....

我发了一个链接我的原始数据，在审核中。就是随便设个字符串比如“12213456656667”这种，输出的时候还是这一串，