[已解决]txt文件中删除重复项的问题 求助

Amgalang

上午好，

我上传的C.txt包含了如下示例集合：
仔细一看会发现所示两个集合是重复项，只是集合中元素位置不同，

{W2,H0YITV=EHENER,H0YITV=EM_E}
{W2,H0YITV=EM_E,H0YITV=EHENER}

那么，在保证C.txt中原来的排序不变的前提下，能自动删除示例一样的重复一项吗？至于删除示例的哪一项，没要求。只是被删除的一个集合需要留下一个空集合。

示例的结果是：

{W2,H0YITV=EHENER,H0YITV=EM_E}
{}

如果两个集合如下：
{w1,A,B01}
{w1,A,B}
那么这两个集合不算重复项。

数据有点多，人工看来看去 不能保证前后一致了，所以想求大佬帮一下。谢谢。

最佳答案

月排行榜 / 总排行榜

鱼cpython学习者

2022-8-9 10:25:19

我不太确定代码是不是百分百正确，我人工查看了几个，应该是对的
我把去重后的文本放到了新的文件叫B.txt

1. import re
   
2. with open('C.txt', 'r', encoding='utf-8') as f:
   
3.   data = f.readlines()
   
4. new_data = []
   
5. for item in data:
   
6.   item = item.strip()
   
7.   sorted_item = sorted(re.sub(r'[\{|\}]', '', item).split(','))
   
8.   new_data.append(','.join(sorted_item))
   
9. for index, item in enumerate(new_data):
   
10.   if item in new_data[0:index] or item in new_data[index+1:]:
    
11.     data[index] = '{}\n'
    
12.     new_data[index] = ''
    
13. with open('B.txt', 'w', encoding='utf-8') as f:
    
14.   f.writelines(data)

复制代码

跳转到最佳答案楼层

鱼cpython学习者

我不太确定代码是不是百分百正确，我人工查看了几个，应该是对的
我把去重后的文本放到了新的文件叫B.txt

1. import re
   
2. with open('C.txt', 'r', encoding='utf-8') as f:
   
3.   data = f.readlines()
   
4. new_data = []
   
5. for item in data:
   
6.   item = item.strip()
   
7.   sorted_item = sorted(re.sub(r'[\{|\}]', '', item).split(','))
   
8.   new_data.append(','.join(sorted_item))
   
9. for index, item in enumerate(new_data):
   
10.   if item in new_data[0:index] or item in new_data[index+1:]:
    
11.     data[index] = '{}\n'
    
12.     new_data[index] = ''
    
13. with open('B.txt', 'w', encoding='utf-8') as f:
    
14.   f.writelines(data)

复制代码

Amgalang

C.txt (149.86 KB, 下载次数: 10)

2022-8-9 10:29 上传

点击文件名下载附件

人造人

这题目挺有意思，我也来玩玩，^_^

1. #include <iostream>
   
2. #include <vector>
   
3. #include <string>
   
4. #include <algorithm>
   
5. #include <regex>
   
6. 
   
7. using std::cin, std::cout, std::endl;
   
8. using std::vector, std::string;
   
9. using std::equal, std::any_of, std::for_each;
   
10. using std::istream, std::ostream;
    
11. using std::getline;
    
12. using std::regex, std::ssub_match, std::sregex_token_iterator;
    
13. 
    
14. using node_t = vector<string>;
    
15. using line_t = vector<node_t>;
    
16. using file_t = vector<line_t>;
    
17. 
    
18. bool operator==(const node_t &a, const node_t &b) {
    
19.     if(a.size() != b.size()) return false;
    
20.     return equal(a.begin(), a.end(), b.begin());
    
21. }
    
22. 
    
23. bool operator==(const line_t &a, const line_t &b) {
    
24.     for(auto iter = a.begin(); iter != a.end(); ++iter) {
    
25.         if(!any_of(b.begin(), b.end(), [&iter](const node_t &n) -> bool {return n == *iter;}))
    
26.             return false;
    
27.     }
    
28.     return true;
    
29. }
    
30. 
    
31. ostream &operator<<(ostream &os, const node_t &node) {
    
32.     bool output = false;
    
33.     for_each(node.begin(), node.end(), [&os, &output](const string &str) -> void {
    
34.         if(output) os << "=";
    
35.         output = true;
    
36.         os << str;
    
37.     });
    
38.     return os;
    
39. }
    
40. 
    
41. ostream &operator<<(ostream &os, const line_t &line) {
    
42.     bool output = false;
    
43.     for_each(line.begin(), line.end(), [&os, &output](const node_t &node) -> void {
    
44.         if(output) os << ",";
    
45.         output = true;
    
46.         os << node;
    
47.     });
    
48.     return os;
    
49. }
    
50. 
    
51. const vector<string> string_split(const string &str, const string &sep) {
    
52.     vector<string> result;
    
53.     regex pattern(sep);
    
54.     for_each(sregex_token_iterator(str.begin(), str.end(), pattern, -1), sregex_token_iterator(),
    
55.             [&result](const ssub_match &token) -> void {result.push_back(token);});
    
56.     return result;
    
57. }
    
58. 
    
59. const line_t get_line(const string &str) {
    
60.     line_t result;
    
61.     vector<string> v = string_split(string(str.begin(), str.end()), ",");
    
62.     for_each(v.begin(), v.end(), [&result](const string &s) -> void {
    
63.         vector<string> v = string_split(s, "=");
    
64.         result.push_back(node_t(v.begin(), v.end()));
    
65.     });
    
66.     return result;
    
67. }
    
68. 
    
69. istream &operator>>(istream &is, file_t &file) {
    
70.     file.clear();
    
71.     string s;
    
72.     while(getline(is, s)) {
    
73.         line_t line = get_line(string(s.begin() + 1, s.end() - 1));
    
74.         if(!any_of(file.begin(), file.end(), [&line](const line_t &l) -> bool {return line == l;}))
    
75.             file.push_back(line);
    
76.     }
    
77.     return is;
    
78. }
    
79. 
    
80. ostream &operator<<(ostream &os, const file_t &file) {
    
81.     for_each(file.begin(), file.end(), [&os](const line_t &line) -> void {
    
82.         os << "{" << line << "}" << endl;
    
83.     });
    
84.     return os;
    
85. }
    
86. 
    
87. int main() {
    
88.     file_t file; cin >> file;
    
89.     cout << file << endl;
    
90.     return 0;
    
91. }
    

复制代码

人造人

鱼cpython学习者 发表于 2022-8-9 11:54
我不太确定代码是不是百分百正确，我人工查看了几个，应该是对的
我把去重后的文本放到了新的文件叫B.txt
...

会多出空括号 "{}"

1. --- C.txt        2022-08-09 14:00:20.120425628 +0800
   
2. +++ B.txt        2022-08-09 15:13:12.026988112 +0800
   
3. @@ -3,8 +3,8 @@
   
4. {TARIYALANG-VN=ER_E}
   
5. {HADHVGVR=H0RM0YIBCITAN}
   
6. {W1,NILH_A=HEUHED,BALCIR=HEUHED}
   
7. -{W2,NIRAI=HEUHED,SIN_E=HOMUN}
   
8. -{W2,VLAGAN=CAH_A,VLAGAN=NILH_A}
   
9. +{}
   
10. +{}
    
11. {W2,VLAGAN=NILH_A,VLAGAN=CAH_A}
    
12. {W2,HEUHED=BAGACVD,BAGACVD=HEUHED}
    
13. {JALAGV=BAGACVD}
    
14. @@ -13,13 +13,13 @@
    
15. {SEHEGETEN=JALAGVCVD}
    
16. {IDE=NASV}
    
17. {DVMDA=NASV}
    
18. -{W2,BUDUGUN=HOMUN,YEHE=ER_E,BUDUGUN=ER_E,T0M0=HOMUN,YEHE=HOMUN}
    
19. -{W2,YEHE=HOMUN,YEHE=ER_E,BUDUGUN=ER_E,T0M0=HOMUN,BUDUGUN=HOMUN}
    
20. +{}
    
21. +{}
    
22. {W2,AHAMAD=NASVTAN,NASVTAI=HOMUN,OTELUGE=NASVTAN}
    
23. {EBUGEN=HOGSIN}
    
24. -{W2,EBUGED=HOGSID,EBUGE=DEGEDUS}
    
25. +{}
    
26. {EBUGED=OTEGUS}
    
27. -{W2,EBUGEN=ABV,NASVTAN=ABV}
    
28. +{}
    
29. {EMEGEN=EJI}
    
30. {OTEGUU=EBUGEN}
    
31. {OTEGUS=YEHES}
    
32. @@ -30,49 +30,49 @@
    
33. {MOGER=HAMARTV}
    
34. {TAHIR=D0G0LANG}
    
35. {HEBTERI-YIN=HOMUN}
    
36. -{HEI=S0LIYATV}
    
37. +{}
    
38. {SAGVMAL=HOMUN}
    
39. {EBEDCITEN=SIRHATAN}
    
40. {BEY_E=UREGDEGSED}
    
41. {W2,BEY_E=UREGDEGCI,UHUGSEN=HOMUN}
    
42. {NOGCIGSEN=BAGATVR}
    
43. {IJAGVR=VGSAG_A}
    
44. -{W1,IJAGVR=VDVM,VDVM=IJAGVR}
    
45. +{}
    
46. {IJAGVR=VG}
    
47. {NERETU=VGSAG_A}
    
48. {UNDUSU=VGSAG_A}
    
49. {W1,UNDUSU=IJAGVR,IJAGVR=0G,VG=IJAGVR}
    
50. {VDVM=UNDUSU}
    
51. -{W1,VDVM=TOROL,VDVM=VGSAG_A}
    
52. +{}
    
53. {W1,VDVM=IJAGVR,IJAGVR=VDVM}
    
54. {W1,VDVM=VGSAG_A,VDVM=TOROL}
    
55. {UNDUSUTEN=VGSAG_A}
    
56. {UY_E=VGSAG_A}
    
57. {UY_E=VDVM}
    
58. -{W1,VDVM=VG,VG=VDVM}
    
59. +{}
    
60. {TVIRUL=VDVM}
    
61. {W2,TOROL=VGSAG_A,VGSAG_A=TOROL}
    
62. {W1,VG=VDVM,VDVM=VG}
    
63. {VG=VGSAG_A}
    
64. {VAGSAG_A=TOROL}
    
65. {VGSAG_A=ESI}
    
66. -{W1,UR_E=VGSAG_A,UR_E=UNDUSU}
    
67. -{GER-UN=EJEGTEI}
    
68. +{}
    
69. +{}
    
70. {W2,ER_E=HOMUN,EREGTEI=HOMUN,ER_E=HUISUTEN}
    
71. -{W2,BAG_A=EHENER,SVLA=HATVN,SVLA=EHENER,=TATABVRI=EHENER,TATABVRI=EM_E}
    
72. +{}
    

复制代码

Amgalang

鱼cpython学习者 发表于 2022-8-9 11:54
我不太确定代码是不是百分百正确，我人工查看了几个，应该是对的
我把去重后的文本放到了新的文件叫B.txt
...

谢谢您的回复，解决了这个问题呢，真的很感谢。

不过发现两个需要优化的问题呢：
1.C.txt中如果一个集合内就有一个词（没有逗号隔开）的话这种的集合我不想删除其重复项，就是这种就一个词构成一集合的不要删除其重复项，让它保留在原位置就行，这样的能解决吗？

2.我怀疑一些集合内（C.txt的一行内容内）也可能有重复的元素，所以想着在解决上述问题一的基础上，也删除一下每一行每个集合内的重复元素。

这样的话这个问题就圆满的解决咯，希望再看看这两个问题，期待你的回复。谢谢。

Amgalang

人造人 发表于 2022-8-9 15:14
会多出空括号 "{}"

感谢您的回复，我学一学您的代码 哈哈哈 再次感谢，wish you have a nice day

人造人

Amgalang 发表于 2022-8-9 15:22
谢谢您的回复，解决了这个问题呢，真的很感谢。

不过发现两个需要优化的问题呢：

首先，我证明了
我们这两个程序的输出是等价的
我把我的代码改成这样

1. istream &operator>>(istream &is, file_t &file) {
   
2.     file.clear();
   
3.     string s;
   
4.     while(getline(is, s)) {
   
5.         line_t line = get_line(string(s.begin() + 1, s.end() - 1));
   
6.         if(!any_of(file.begin(), file.end(), [&line](const line_t &l) -> bool {return line == l;}))
   
7.             file.push_back(line);
   
8.         else {
   
9.             std::cerr << line << endl;
   
10.             exit(-1);
    
11.         }
    
12.     }
    
13.     return is;
    
14. }
    

复制代码

然后用你的程序的输出作为我的程序的输入（已经删除了空括号）
运行我的程序发现没有出错退出，程序正常执行完成了
也就是说程序没有执行到else分支，就是没有重复的内容
而且你的程序和我的程序都输出了4834行内容
没有重复（如果有重复的话，我的程序会出错退出的），输出行数又一样，说明没有遗漏
说明我们这两个程序是等价的，我不知道我这样证明可不可以，我感觉可以，^_^

你的那两个问题，我研究研究
一会给你回复
^_^

鱼cpython学习者

人造人 发表于 2022-8-9 15:14
会多出空括号 "{}"

az，空括号不是他要求的吗

人造人

鱼cpython学习者 发表于 2022-8-9 16:34
az，空括号不是他要求的吗

抱歉，没有认真看题，^_^

鱼cpython学习者

Amgalang 发表于 2022-8-9 15:22
谢谢您的回复，解决了这个问题呢，真的很感谢。

不过发现两个需要优化的问题呢：

好吧，我再来想想
问一个问题，删除重复的元素要删哪一个？第一个还是最后一个，还是都删

Amgalang

人造人 发表于 2022-8-9 15:54
首先，我证明了
我们这两个程序的输出是等价的
我把我的代码改成这样

收到，感谢 感谢，充分感受到艺高人胆大和我要学习的必要性 哈哈哈

Amgalang

鱼cpython学习者 发表于 2022-8-9 16:36
好吧，我再来想想
问一个问题，删除重复的元素要删哪一个？第一个还是最后一个，还是都删

删除一个集合内重复元素时，删除一个集合内靠后的重复元素，例如：

{A,B,C,A,C}
那么输出结果是：
{A,B,C}(保持了原来的排序）

问题一若是很复杂的话 就不用管了，我刚刚从excel上筛选看后发现就那几个 所以没事咯 ，就是问题二了。

鱼cpython学习者

Amgalang 发表于 2022-8-9 16:46
删除一个集合内重复元素时，删除一个集合内靠后的重复元素，例如：

{A,B,C,A,C}

好吧，问题1反而是最简单的
我来看看

Amgalang

人造人 发表于 2022-8-9 15:54
首先，我证明了
我们这两个程序的输出是等价的
我把我的代码改成这样

就解决问题二就可以咯，问题一 我excel解决了 哈哈哈

Amgalang

鱼cpython学习者 发表于 2022-8-9 16:48
好吧，问题1反而是最简单的
我来看看

哈哈哈 好吧
我刚写了个新手的代码，共参考，但 内容多后，代码一直跑，仅供参考：
>>> e = """
MVNDAG=ER_E,MVNDAG=ER_E
IDER=ER_E"""
>>> lst = e.split('\n')
>>> for i in lst:
        lst1 = i.split(',')
        d = list(set(lst1))
        d.sort(key=i.index)
        print(d)

       
['']
['MVNDAG=ER_E']
['IDER=ER_E']
>>>

还有一个网址，教学的：
https://blog.csdn.net/m0_46672151/article/details/115384780

鱼cpython学习者

Amgalang 发表于 2022-8-9 17:02
哈哈哈 好吧
我刚写了个新手的代码，共参考，但 内容多后，代码一直跑，仅供参考：
>>> e = """

我问一下, {A, B=C, B=D}这种，输出应该是什么？
是{A, B=C}，还是不修改？

人造人

这种的又如何处理呢？

1. {W2,TATABVRI=EM_E,SVLA=HATVN,SVLA=EHENER,=TATABVRI=EHENER,BAG_A=EHENER}
   

复制代码

Amgalang

鱼cpython学习者 发表于 2022-8-9 17:05
我问一下, {A, B=C, B=D}这种，输出应该是什么？
是{A, B=C}，还是不修改？

这种输出不改。{A, B=C, B=D}正确呢。

Amgalang

人造人 发表于 2022-8-9 17:09
这种的又如何处理呢？

这种的不处理，集合元素都不一样，逗号隔开一个词，“=”不用管，
例如：
{A, B=C, B=D}是正确的，不用处理，视作元素都不一样。