[分享] 资料数据处理修改

楼主: celestialgod (天)   2015-07-12 15:22:48
这篇想呈现怎样整理修改data.frmae/data.table内的资料
过程中,是否会制作资料复本会造成效能的低落
我试着把可能的解法都想在这篇里面
这篇用一个最简单的例子
包含"Null"字符的一个正数csv档案
目标是要把Null转成NA,并且全部column都转成int/num
可以考虑几种方式
1. 用read.csv读,使用default option,再做剩下的修改
2. 用read.csv读,设定stringsAsFactors=FALSE,直接对chr做修改
3. 用read.csv读,设定na.strings = "Null",所有column就会直接变成int
4. 用fread读,使用default options,再做剩下的修改
5. 用fread读,设定na.strings = "Null",再做剩下的修改
这样看起来3.是最方便的方式,不过fread再读大资料时,有它的效率优势
考虑一个有50000个row,200个column的资料,其中有156行包含"Null"
比较看看怎样的转换方式最快。
程式:http://pastebin.com/hX4Biq7x
machine: CPU: Celeron B960@1.8GHz 6GB Ram
Revolution R Open: R version 3.2.0 (2015-04-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
Unit: seconds
expr min lq mean median uq max neval
method_1 3.971753 4.036618 4.460901 4.535446 4.731301 5.329010 20
method_2 3.772901 3.842948 4.494862 4.049869 4.323830 9.667021 20
method_3 3.788617 3.853613 4.132342 3.921652 4.347161 5.132272 20
method_4 3.716265 3.843885 4.145333 3.998319 4.247201 5.708531 20
method_5 12.481331 13.448137 17.182267 14.693496 17.808658 32.192652 20
method_6 12.348287 13.795098 16.440180 15.891280 17.371023 27.189625 20
method_7 4.773306 4.849003 5.630633 5.326955 5.695046 11.200814 20
method_8 4.100167 4.172661 4.989753 4.536472 5.041444 9.395030 20
method_9 3.908649 4.057392 4.580684 4.365466 4.685546 8.113558 20
method_10 3.920710 3.991021 4.342576 4.350796 4.621759 5.118484 20
method_11 3.756906 3.814765 4.528976 4.191450 4.553097 7.491762 20
method_12 4.215348 4.312883 4.487966 4.440046 4.558055 5.273808 20
method_13 4.214801 4.299568 4.650518 4.482193 4.683664 7.368416 20
method_14 3.859733 3.975412 4.406024 4.316589 4.433386 6.868416 20
method_15 3.814103 4.236323 4.428712 4.367902 4.615070 5.399137 20
小评:
method_5跟method_6 (data.frame+sapply)是最差的方式
method_7(data.frame (读入不转factor) as.matrix+as.integer)为次差的方式
最好的方式是method_3跟method_4 (data.table+plyr::colwise)
稍差的方法如method_10 (data.frame (default读入) + base::transform)
method_14 (data.table (default读入) + data.table::transform)
method_15 (data.table (读入设定nastrings) + data.table::transform)
method_12跟method_13 (data.table + dplyr::mutate_each_)表现颇为中庸
如果有其他方法,欢迎提出比较,感谢各位。
结论:
如果资料小的时候,直接使用3.的方式读入资料即可
如果资料较大(大概超过一百万个数值)的时候,建议用fread配上colwise做修改
[关键字]: plyr, dplyr, data.table, data.frame
作者: thea (里A)   2015-07-12 15:57:00
推推!
作者: Wush978 (拒看低质媒体)   2015-07-12 19:44:00
push
作者: gsuper (Logit(odds))   2015-07-12 19:56:00
fread() 爱用者+1
作者: leo0650 (吕奕)   2015-07-12 21:46:00
作者: yaowei2010 (yaowei)   2015-07-13 10:31:00
推炸!
作者: MADNUG (1234567654321一下吧)   2015-07-15 15:30:00
推,很好的参考!!
作者: mayneck   2015-07-16 22:54:00
推一个,很棒的参考

Links booklink

Contact Us: admin [ a t ] ucptt.com