[已解决]【json读取问题】json文件过大读取失败

脑子

读取json时，出现memoryerro
按行一行一行读都memoryerro....

1. 
   
2. import json
   
3. import gc
   
4. 
   
5. add=r'C:\**************.json'
   
6. f=open(add,'r')
   
7. for line in f.readlines():
   
8.     content = line
   
9.     dic = json.loads(content)
   
10.     print dic
    
11.     gc.collect()

复制代码

求解！！！！！！！！在线等急！！！！！！！！

最佳答案

月排行榜 / 总排行榜

yjsx86

2019-1-25 20:21:22

read() 和 readlines() 都是读取全部文件内容
直接 for line in f
或者 循环read(1024) 读取指定大小的文字 最后判断读取内容是否为空

跳转到最佳答案楼层

yjsx86

read() 和 readlines() 都是读取全部文件内容
直接 for line in f
或者 循环read(1024) 读取指定大小的文字 最后判断读取内容是否为空

幻千城12

应该是内存不够，尝试数据切块读取

幽梦三影

几MB？

脑子

幽梦三影 发表于 2019-1-25 20:33
几MB？

2G

脑子

yjsx86 发表于 2019-1-25 20:21
read() 和 readlines() 都是读取全部文件内容
直接 for line in f
或者 循环read(1024) 读取指定大小的文 ...

多谢！
但是接下来运行到

1. dic = json.loads(content)

复制代码

时报错：
ValueError: Expecting property name: line 1 column 2 (char 1)
请问是为什么啊？

yjsx86

脑子 发表于 2019-1-25 20:51
多谢！
但是接下来运行到

这个是肯定的
json是有格式的
json.loads()载入的内容必须是完整的json格式的内容
相当于你给的content只是json的部分内容 不完整自然会报错

而且 json 以轻巧著称,不知道为什么2G的内容要存为json
不过2G以现在的机器性能 应该也不会出现爆内存的情况啊 随便来太机器都是8G内存起步
只能把json文件转存到诸如mysql mangodb等数据库