[问题] for循环读取大量csv

楼主: hotlin0709 (hotlin0709)   2018-04-03 10:09:22
[问题类型]:使用for循环读取多资料夹内多个csv 处理
效能咨询(我想让R 跑更快)
[软件熟悉度]:
入门(写过其他程式,只是对语法不熟悉)
[问题叙述]:
我要读取多个资料夹内的多个csv,然后读进来后,全部资料做简单的处理filter一些变量,
并将撷取完资料的某一字段加总起来。
以下是我写的方式,但是跑太久了......请问有比较快速的方法吗?
[程式范例]:
library(dplyr)
l<- list.files(path="/users/Johnny/downloads/M08A",pattern="*")
bindtemp <- data.frame()
temp <- data.frame()
for (k in l){
ll<- list.files(path=paste("/users/Johnny/downloads/M08A/",k,sep = ''),pattern="*")
for (i in ll) {
file_names <- paste("/users/Johnny/downloads/M08A/",k,i,sep = '/')
files <- list.files(path=file_names, pattern="*")
for (file in files) {
bindtemp <- read.csv(paste(file_names,file,sep="/"),header=F)
temp <- rbind(temp,bindtemp)
}
}
}
df3<-temp %>% filter((V3=="03F0961N"|V3=="03F0846S"),V4==31) %>% summarise(n=sum(V5))
[关键字]:
for循环 读取多资料夹的CSV
作者: obarisk (OSWALT)   2018-04-03 10:14:00
先对每个档案做filter 后再做bind
作者: chuubbyy (byetos)   2018-04-03 10:28:00
read.csv也可成fread之类的
楼主: hotlin0709 (hotlin0709)   2018-04-03 11:01:00
好的好的感谢各位大大
作者: clansoda (小笨)   2018-04-03 11:26:00
parallel版本的fread大概是read.csv的数十倍快read.csv真的蛮慢的,200MB大概要30多秒fread大概是0.15秒
作者: HumuHumu (呼姆呼姆)   2018-04-03 12:35:00
用lapply
作者: Luluemiko (露露)   2018-04-03 13:09:00
用data.table来处理会快一点
作者: tcman02 (TCman)   2018-04-03 20:45:00
内存够的话lapply 搭配fread读档。 档案很多可以试着用foreach +doMC 平行跑应该会改善
作者: celestialgod (天)   2018-04-03 20:58:00
先把资料都存到一个list,最后在合并就会快很多了

Links booklink

Contact Us: admin [ a t ] ucptt.com