md5_list.append(line_list[0]) 在循环中的列表增加数据越来越多，多到占满内存

luoyuzimo

def find_same_md5(md5_result):
    global md5_end
    while True:
        line = md5_result.__next__()
        # print("line为： %s" % line)
        # print(type(line))
        line_list = line.split('./', 1)
        # print("切出结果为：%s" % line_list)
        # print(type(line_list))
        if line_list:
            if len(line_list) == 2 and len(line_list[0].strip()) == 32 and line_list[1].endswith(".jpeg"):
                if line_list[0] in md5_list:
                    image_path = line_list[1]
                    q.put(image_path)
                else:
                    md5_list.append(line_list[0])                                  ---如果append的数据越来越大，会大到把内存占完，这种有没有办法解决？



md5_result 数据是大量的超过100万的图片的md5值和图片的存放路径，类似这种 ce4ac4559959bd71691a3952049a37ee  ./images-0/fc2b2a88a2ba4000aa387cbf0a3c6ed2.jpeg

新手·ing

我不知道你的代码是干什么用的，如果你列表里的元素不需要一次性全用，而是一部分一部分的使用的话，你可以了解下yield生成器。

luoyuzimo

新手·ing 发表于 2019-7-8 12:27
我不知道你的代码是干什么用的，如果你列表里的元素不需要一次性全用，而是一部分一部分的使用的话，你可以 ...

是需要一次性全部使用的

新手·ing

luoyuzimo 发表于 2019-7-8 14:10
是需要一次性全部使用的

换一种数据结构或者换一个语言

wp231957

考虑更换思路