论坛 › Python交流 › 如何读取几百G的文件，不爆内存

laofu 发表于 2020-3-22 09:36:55

吃瓜

Rose1001 发表于 2020-3-27 23:01:55

{:5_109:}

murongqianxi 发表于 2020-3-28 08:43:13

看一看

charking 发表于 2020-3-28 19:39:22

{:7_112:}

xiangjianshinan 发表于 2020-3-29 03:56:30

几百 G？一定要拜读下。

Nona 发表于 2020-3-29 14:02:18

1

一个账号 发表于 2020-4-3 18:29:26

zltzlt 发表于 2019-8-24 21:40
我没有那么大的文件1 G 的都没有

我有个 437GB 的文件 {:10_256:}

NZND 发表于 2020-4-3 18:36:18

看看

NZND 发表于 2020-4-3 18:47:09

我认为可以改进成这样：
import time
def myreadlines(f, newline):
    buf = ''
    while True:
      while newline in buf:
            pos = buf.index(newline)
            yield buf[:pos]
            buf = buf
      chunk = f.read(4096) # 每次读取的大小
      time.sleep(0.01)

      if not chunk:
            yield buf
            break
      buf += chunk
      

if __name__ == '__main__':
    # 文件中的分隔符
    flite = r"\n"
    with open("password.txt") as f:
      for line in myreadlines(f, flite):
            print(line)

这样还可以保护CPU

hrp 发表于 2020-4-3 19:15:37

分段读取

wdx 发表于 2020-4-3 19:40:00

？？？

rondo1895 发表于 2020-4-6 00:40:59

12

孤独的人z 发表于 2020-4-6 15:00:14

哦

爱叫什么叫什么 发表于 2020-4-7 16:58:44

我有很多

风烟引 发表于 2020-4-8 21:31:31

{:5_91:}

小小小菜菜菜 发表于 2020-4-18 23:03:10

666

ringwilling 发表于 2020-4-29 11:42:49

学习一下

njh123456789 发表于 2020-5-2 18:36:16

111

半夜起床不睡觉 发表于 2020-7-6 16:44:04

学习一下

50009999 发表于 2020-7-7 06:40:11

学习一下，谢谢分享

查看完整版本: 如何读取几百G的文件，不爆内存