[问题类型]:
效能咨询(我想让R 跑更快)
我目前的R Code中，有一段repeat要跑很久
想用Rprof()去做Profiling，但是Rprof()该怎么塞到Code里才会抓到正确的资料了？
另外，除了Rprof()，还有其他更好用的R Profiling tool吗？
[软件熟悉度]:
入门(写过其他程式，只是对语法不熟悉)
[问题叙述]:
利用rhdfs读取Hadoop HDFS档案系统上的超大CSV挡
[程式范例]:
Sys.setenv(HADOOP_CMD="/usr/lib/hadoop/bin/hadoop")
Sys.setenv(HADOOP_COMMON_LIB_NATIVE_DIR="/usr/lib/hadoop/lib/native/")
Sys.setenv(HADOOP_STREAMING="/usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-101.jar")
library(rmr2);
library(rhdfs);
hdsf.init();
f = hdfs.file("/etl/rawdata/201111.csv","r",buffersize=104857600);
Rprof(tmp0528<-tempfile())
repeat {
m = hdfs.read(f)
duration <- as.numeric(difftime(Sys.time(), start.time, unit = "secs"))
print(length(m) / duration)
start.time <- Sys.time()
Rprof() /*Rprof()放这正确吗？还是要放repeat循环才是正确呢？
}
summaryRprof(tmp0528)
[关键字]:
Performance, Profiling, Debug