Re: [问题] 矩阵的处理...拜求各位大大

楼主: celestialgod (天)   2017-08-27 17:43:21
※ 引述《s3714443 (metalheads)》之铭言:
: http://imgur.com/a/1s7Is
: 资料大概是长这样
: 我想要处理的是:
: 像第八行就有两个非0的数字
: 那我就是取最左的那排 26.57这个数字
: 倒数第二排有26.43跟26.57这两个数字
: 那就是取最左边的26.43
: 反正就是 特定栏之中 先看有没有非0的数字,有就取最左的,没有就取0
: 然后就是mutate出来新的一行
: 我想不到除了sapply之外的办法了
: 但是我的资料有500多万笔
: sapply可能会跑到电脑烧掉XD
: 感恩各位
# 资料生成
n <- 5e5 + 12
m <- 8
r <- 2
X <- matrix(0, n, m)
for (i in seq(1, n - 5, by = m-r))
X[cbind(i:(i+7), m:1)] <- rnorm(1)
X[cbind((n-1):n, 8:7)] <- rnorm(1)
# 随机抽10000列让整列变成0
zeroLocIdx <- sample(n, 10000)
X[zeroLocIdx, ] <- 0
# 程式开始
st <- proc.time()
# 取出全部不等于0的位置,并以matrix矩阵表示 row跟column位置 (arr.ind)
tmp <- which(X != 0, arr.ind = TRUE)
# 对每一个row取最小的column index
out <- tapply(tmp[ ,2], tmp[ ,1], min)
# 组出位置矩阵
locMat <- cbind(row = as.integer(names(out)) , col = out)
# 处理非0部分
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
# 排序
locMat <- locMat[order(locMat[ , 1]), ]
# 取出值
out <- X[locMat]
proc.time() - st
# user system elapsed
# 1.05 0.03 1.10
验证结果:http://imgur.com/QMpBoGh
验证0位置: all(zeroLocIdx2 == sort(zeroLocIdx)) # TRUE
搭配data.table的做法如下:
library(data.table)
# 转成data.table
DT <- data.table(X)
# 假设有其他字段
DT[ , `:=`(V9 = sample(1:5, nrow(DT), TRUE),
V10 = sample(LETTERS, nrow(DT), TRUE))]
# 把上面的程式直接抓下来用
findValue <- function(X){
tmp <- which(X != 0, arr.ind = TRUE)
minColLoc <- tapply(tmp[ ,2], tmp[ ,1], min)
locMat <- cbind(row = as.integer(names(minColLoc)) , col = minColLoc)
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
locMat <- locMat[order(locMat[ , 1]), ]
X[locMat]
}
st <- proc.time()
# 直接把需要的column抓出来利用do.call + cbind组成矩阵丢进去
DT[ , v := findValue(do.call(cbind, .SD)), .SDcols = V1:V8]
proc.time() - st
# user system elapsed
# 1.04 0.04 1.09
# 验证结果
head(DT, 40)
http://imgur.com/NxjaCaH
作者: s3714443 (metalheads)   2017-08-27 20:49:00
感恩大大,想问大大为什么处理这种大量资料有用到apply还是可以这么快呢!甘拜下风所以tapply算apply家族中比较快的吗?而且我觉得只用到min这种简单函数函数来跑tapply也是关键
作者: f496328mm (为什么会流泪)   2017-08-28 08:10:00
如果用 apply 家族的话 开平行会不会好一点??像是 snow or parallel单就速度上来看
作者: s3714443 (metalheads)   2017-08-28 12:53:00
但是我500多万笔50几个column三分钟就跑完了 超快XD想请问c大 findValue(do.call(cbind, .SD)) 跟findValue( .SD) 差在哪? 为什么后者跑不出来? 感恩
作者: f496328mm (为什么会流泪)   2017-08-28 13:37:00
如果你用apply家族,3分钟跑完,那开平行会更快不过主要是c大写的比较有效率
楼主: celestialgod (天)   2017-08-28 18:26:00
开平行可能改善不多,中间还有传输问题,建议还是用vectorization方法解决.SD是list 要转成矩阵才能跑findValue

Links booklink

Contact Us: admin [ a t ] ucptt.com