[问题] 大型矩阵要汇入R

楼主: kenfossil (阿卷)   2016-11-08 16:36:45
[软件熟悉度]:
入门(学习约莫1年)
[问题叙述]:
有一笔(12968*11046)的大型矩阵(0和1组成),使用read.table一次读进R时,出现记
忆体不够问题!
若想要一次一列的读取进来后,做分析完后,再读取下一列资料,以这样一列一列的逐步
分析!
先感谢各位版友!!
作者: andrew43 (讨厌有好心推文后删文者)   2016-11-08 17:24:00
read.table 可指定 nrows skip colClasses 可能有帮助。或是直接改用 data.table::fread() 看看
楼主: kenfossil (阿卷)   2016-11-08 21:07:00
感谢andrew43大大! 有试出来了!!
作者: andrew43 (讨厌有好心推文后删文者)   2016-11-08 21:07:00
也可以试试 bigmemory::read.big.matrix()其实你的资料其实不算很大…电脑可用的内存是否不多了
作者: Wush978 (拒看低质媒体)   2016-11-09 01:41:00
正常应该吃1G内存,这可以算得
作者: f496328mm (为什么会流泪)   2016-11-09 23:31:00
bigmemory套件不错用 可以搜寻cywhale的文章目前我都用这个 处理3g左右的data

Links booklink

Contact Us: admin [ a t ] ucptt.com