[问题类型]:
程式咨询(我想用R 做某件事情，但是我不知道要怎么用R 写出来)
[软件熟悉度]:
R 使用者 ( RHadoop 幼幼班... @@" )
[问题叙述]:
想请教版上的RHadoop高手或使用者，
是否可以帮我看看我的问题出在哪里？
最近在尝试用RHadoop，但不是很理解rmr2里面
map 跟 reduce 这两个函数的结构，想找版上高手求救... @@"
是否可以帮我看看我的下列程式是否有错？
当input file较小时，下面的程式码可以成功，
但当input file变大时，我的程式码就会出错了！
以下为 Error code:
Error: # of failed Map Tasks exceeded allowed limit.
Streaming Command Failed!
Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, :
hadoop streaming failed with error code 1
感谢前辈帮忙了~~ @@"
[程式范例]:
testdb02 <- mapreduce(
input = "/my_test_file",
map = function(k,v){
val <- matrix( unlist(strsplit(v,"\t")), ncol=18, byrow=TRUE)
colnames(val) <- paste("Col_",1:18,sep="")
key <- matrix(as.double(unlist(strsplit(matrix(unlist(strsplit(val[,1]," ")),2)[2,],":"))),ncol=3,byrow=TRUE)
keyval(key,val)
}
)
http://codepad.org/0PMOmqf2
[关键字]:
RHadoop; rmr; mapreduce