[问题] 有关读入文件档案时内存的问题 doasgloria PTT批踢踢实业坊

[问题] 有关读入文件档案时内存的问题

楼主: doasgloria (青柳立夏) 2017-10-16 22:33:30

最近常用JUPYTER读取大量文件档
必须读取出1GB的TXT档案
再作处理后就会变得更大
目前光是暂时只开400多MB出来作业
从工作管理员可以看到内存使用率都过90%逼近100%
然后电脑所有动作就变得超级顿+卡卡 >"<
我的内存是一条8G ,电脑是64位元win 10
因为对硬件相关一窍不通
想问一下
如果我把内存全插满比如4条8G甚至4条16G
会让我读取档案比较顺利重点是电脑不要一直顿吗[email protected]@
因为内存一买下去就是好几千块想问问是否可以从这边获得改善 XD
非常感谢！！

作者: R119 (= =) 2017-10-17 00:15:00

应该可以

作者: goldflower (金色小黄花) 2017-10-17 02:20:00

处理到下一步的时候上一部的资料就能del掉

作者: TitanEric (泰坦) 2017-10-17 11:26:00

个人觉得1g以上已经算超大资料了可能要搭配hadoop会比较好处理

作者: kenduest (小州) 2017-10-17 12:51:00

主要要看你要做什么处理，很多时候不需要资料一口气都全部放在内存内

继续阅读

[问题] 请问关于Dataframe中判别字符是否存在?jason91818 [问题] BeautifulSoup 使用问题gigigigi [问题] windows python 3.5以后改变安装目录的优ggirls [问题]Anaconda安装问题crisp0617 [问题] 排列组合问题或逻辑aegisqoo Re: [问题] 请问一个数学问题Frobenius [闲聊] DataCamp 征求会员dogi2007 [问题] 请问一个数学问题Chatterly [问题] selenium 如何告诉PTT我已满18yshihyu [问题] socket 固定 ip 连内部(浮动) ipf496328mm