[问题] 读取3GB的csv档资料太大 f496328mm PTT批踢踢实业坊

[问题] 读取3GB的csv档资料太大

楼主: f496328mm (为什么会流泪) 2016-07-21 17:43:14

请问要怎么读取3GB的资料
有没有比较有效率的方法?
我有用read.csv去读
但是光要把3GB读到电脑的RAM中就要花很多时间(我读个几百MB的就要一分左右)
而且3GB我可能要超过16G的RAM去读他可能更多因为我电脑只有16G
想要再加RAM到32G 只怕这样还吃不下3G的DATA 要进行分析更是困难
分批读是一个方法
但有没有比read.csv更好的套件去读这样的data
毕竟3GB以目前的BIG DATA 应该不算大吧
会需要用到hadoop吗?
谢谢

作者: GetRobin (Rrr) 2016-07-21 18:28:00

可以用用看freadhttp://www.inside-r.org/packages/cran/data.table/docs/fread

作者: celestialgod (å¤©) 2016-07-21 18:32:00

3G fread + 16G内存就可以处理了完全用不到hadoop

作者: Wush978 (拒看低质媒体) 2016-07-22 00:01:00

检查一下你的型态是不是你要的

继续阅读

[问题] 读取3GB的csv档 资料太大

[问题] 读取3GB的csv档资料太大