最近自己在玩hadoop-2.2.0的hdfs,
发现已经有C client。
试了一下，发现可以用Rcpp简单包到R中。
我自己测试的读取效能约50MB/s (可能和网络有关），
和command line的hadoop差不多。
※ 引述《dppman (*^o^*)》之铭言：
: ※ 引述《Wush978 (拒看低质媒体)》之铭言：
: : 建议你先测量一下throughput
: : ```r
: : start.time <- Sys.time()
: : repeat {
: : m = hdfs.read(f)
: : duration <- as.numeric(difftime(Sys.time(), start.time, unit = "secs"))
: : print(length(m) / duration) # 每秒的bytes数
: : start.time <- Sys.time()
: : }
: : ```
: : 先看一下hdfs.read的效能，如果throughput是1MB / s的速度的话
: : 20G 需要 20*2^30 / 2^20 秒，大约是5.6小时
: :