[问题] 内存计算

楼主: clansoda (小笨)   2016-12-16 14:45:15
Hi 各位好 我目前想要扩增一个data.frame做machine learning
我想要弄进两千个feature因此想要知道到底会吃多少内存
我知道object.size可以知道当前的物件吃多少内存
假如这个物件还没弄出来 只在我脑里面跑
有办法透过row的数量跟col数量来推估内存使用量吗
我怕写一写后来没内存可以跑很尴尬
作者: HumuHumu (呼姆呼姆)   2016-12-16 15:43:00
Memory required=no. of column * no. of row * 8 bytes/numeric
作者: andrew43 (讨厌有好心推文后删文者)   2016-12-16 15:58:00
可以,但也记得估运算过程需要的量。
楼主: clansoda (小笨)   2016-12-16 15:59:00
我有google到这个 那英文跟中文怎么计算我只是用一个直式的data spread as横式的data这样过程会多耗内存吗 会用data.table 应该不会copy吧
作者: clickhere (It's time to go home.)   2016-12-16 22:46:00
有个package, memuse, 可以预估.
作者: Wush978 (拒看低质媒体)   2016-12-17 15:17:00
你要看物件型态integer 4 byte, numeric 8 byte, logical 应该是 4?factor 主要是 4byte + levels 的量character 的话,一个字符1 byte, 你要用nchar估计每个element的平均长度后做计算最后估计你会用到多少个integer, numeric, logical, ...这样就可以得到大致上的内存用量

Links booklink

Contact Us: admin [ a t ] ucptt.com