如何读取几百G的文件，不爆内存

laofu · 发表于 2020-3-22 09:36:55

吃瓜

Rose1001 · 发表于 2020-3-27 23:01:55

murongqianxi · 发表于 2020-3-28 08:43:13

看一看

charking · 发表于 2020-3-28 19:39:22

xiangjianshinan · 发表于 2020-3-29 03:56:30

几百 G？一定要拜读下。

Nona · 发表于 2020-3-29 14:02:18

一个账号 · 发表于 2020-4-3 18:29:26

zltzlt 发表于 2019-8-24 21:40
我没有那么大的文件1 G 的都没有

我有个 437GB 的文件

NZND · 发表于 2020-4-3 18:36:18

看看

NZND · 发表于 2020-4-3 18:47:09

我认为可以改进成这样：

import time
def myreadlines(f, newline):
    buf = ''
    while True:
        while newline in buf:
            pos = buf.index(newline)
            yield buf[:pos]
            buf = buf[pos + len(newline):]
        chunk = f.read(4096) # 每次读取的大小
        time.sleep(0.01)

        if not chunk:
            yield buf
            break
        buf += chunk
        

if __name__ == '__main__':
    # 文件中的分隔符
    flite = r"\n"
    with open("password.txt") as f:
        for line in myreadlines(f, flite):
            print(line)

这样还可以保护CPU

hrp · 发表于 2020-4-3 19:15:37

分段读取

wdx · 发表于 2020-4-3 19:40:00

？？？

rondo1895 · 发表于 2020-4-6 00:40:59

孤独的人z · 发表于 2020-4-6 15:00:14

爱叫什么叫什么 · 发表于 2020-4-7 16:58:44

我有很多

风烟引 · 发表于 2020-4-8 21:31:31

小小小菜菜菜 · 发表于 2020-4-18 23:03:10

ringwilling · 发表于 2020-4-29 11:42:49

学习一下

njh123456789 · 发表于 2020-5-2 18:36:16

111

半夜起床不睡觉 · 发表于 2020-7-6 16:44:04

学习一下

50009999 · 发表于 2020-7-7 06:40:11

学习一下，谢谢分享

账号		自动登录	找回密码
密码			立即注册

[技术交流] 如何读取几百G的文件，不爆内存