如何读取几百G的文件，不爆内存

laofu

吃瓜

Rose1001

murongqianxi

看一看

charking

xiangjianshinan

几百 G？一定要拜读下。

Nona

1

一个账号

zltzlt 发表于 2019-8-24 21:40
我没有那么大的文件1 G 的都没有

我有个 437GB 的文件

NZND

看看

NZND

我认为可以改进成这样：

1. import time
   
2. def myreadlines(f, newline):
   
3.     buf = ''
   
4.     while True:
   
5.         while newline in buf:
   
6.             pos = buf.index(newline)
   
7.             yield buf[:pos]
   
8.             buf = buf[pos + len(newline):]
   
9.         chunk = f.read(4096) # 每次读取的大小
   
10.         time.sleep(0.01)
    
11. 
    
12.         if not chunk:
    
13.             yield buf
    
14.             break
    
15.         buf += chunk
    
16.         
    
17. 
    
18. if __name__ == '__main__':
    
19.     # 文件中的分隔符
    
20.     flite = r"\n"
    
21.     with open("password.txt") as f:
    
22.         for line in myreadlines(f, flite):
    
23.             print(line)
    

复制代码

这样还可以保护CPU

hrp

分段读取

wdx

？？？

rondo1895

12

孤独的人z

哦

爱叫什么叫什么

我有很多

风烟引

小小小菜菜菜

666

ringwilling

学习一下

njh123456789

111

半夜起床不睡觉

学习一下

50009999

学习一下，谢谢分享