[问题] 读入较大的JSON档

楼主: cal0712 (冷静 沉着 坚持)   2015-05-27 09:31:48
板上各为前辈好
小弟这边有个JSON档大概500MB左右 但一直无法顺利读入
import ijson
f = open('news_780796.json',mode='rb')
for url in ijson.items(f,'url'): #"url", "timestamp"
print(url)
会出现MemoryError
环境
Windows XP
Python 3.3
6GB RAM
想请问板上高手
1.如果完全不知道内部格式 想要只读入前10笔资料怎么个写法呢?
2.如果想要全部读入来处理的话 应该怎么写呢?
3.如果要处理这样的档案 系统的配置建议应该是怎么样呢?
感谢协助
作者: LiloHuang (十年一刻)   2015-05-27 11:02:00
作业系统要用 64bit 版本,Python 也要是 64bit 版本
作者: sean50301 ( (づ′・ω・)づ)   2015-05-27 11:24:00
for url in ijson.items(f,'url')[:10]? 纯猜测没试过…
作者: ENEP (Moo)   2015-05-27 12:04:00
楼主: cal0712 (冷静 沉着 坚持)   2015-06-01 01:09:00
了解 感谢协助

Links booklink

Contact Us: admin [ a t ] ucptt.com