python怎么读取大文件

FDMa

因为想用嘻哈模块算文件的md5，涉及到一步读取文件。
文件很大20G，内存是肯定不够用的
用file.read()和
for line in smbd:
        file.append(line)
都显示内存溢出，该怎么办

小甲鱼

如果不能确定文件大小，反复调用 read(size) 比较保险，size 参数指定每次需要读取的尺寸，默认是 -1 表示全部读进来，20G 全部读进来肯定要爆内存的……

FDMa

小甲鱼 发表于 2015-10-6 17:35
如果不能确定文件大小，反复调用 read(size) 比较保险，size 参数指定每次需要读取的尺寸，默认是 -1 表示 ...

这个方法好，读完一次用一次updete这部分就没用了