鱼C论坛

 找回密码
 立即注册
查看: 9020|回复: 94

[技术交流] 如何读取几百G的文件,不爆内存

[复制链接]
发表于 2019-8-24 20:13:20 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
no code say JB

游客,如果您要查看本帖隐藏内容请回复
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-8-24 20:20:04 | 显示全部楼层
几百 G?别开玩笑!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-24 21:09:13 | 显示全部楼层
zltzlt 发表于 2019-8-24 20:20
几百 G?别开玩笑!

你试试呗,再回来和我说
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-24 21:40:30 | 显示全部楼层
沉迷include 发表于 2019-8-24 21:09
你试试呗,再回来和我说

我没有那么大的文件1 G 的都没有
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-24 21:48:54 | 显示全部楼层
zltzlt 发表于 2019-8-24 21:40
我没有那么大的文件1 G 的都没有

最近公司给我一个130G的文件,要分段读取存数据库。。。
最后想到用生成器吧,因为async for 没搞懂,只能写这种同步代码了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-24 21:49:28 | 显示全部楼层
zltzlt 发表于 2019-8-24 21:40
我没有那么大的文件1 G 的都没有

自己造啊。。。。ctrl + C
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-31 07:56:01 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-6 14:05:45 | 显示全部楼层
ntxn
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-12 21:22:54 | 显示全部楼层
啥语言,啥作用读取这么多内存
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-13 10:07:27 | 显示全部楼层
看一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-9-14 21:13:19 | 显示全部楼层
想看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-14 22:44:54 | 显示全部楼层
JB
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-15 13:05:53 | 显示全部楼层
kk
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-18 13:50:01 | 显示全部楼层
1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-19 12:59:19 | 显示全部楼层
emmm
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-9-27 07:53:16 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-10-3 18:38:36 | 显示全部楼层
看看
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-10-7 16:36:12 | 显示全部楼层
看看,说的是什么玩意
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-10-7 18:28:40 | 显示全部楼层
沉迷include 发表于 2019-8-24 21:49
自己造啊。。。。ctrl + C

下一个三体小说,就够了(可能不够1G)

@zltzlt
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-10-7 18:29:12 | 显示全部楼层
_2_ 发表于 2019-10-7 18:28
下一个三体小说,就够了(可能不够1G)

@zltzlt

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-18 10:48

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表