Re: [问题] N*1资料 转 a*b格式

楼主: celestialgod (天)   2017-08-23 19:57:03
: 想再请教一下各位,不知道R语言对于资料量的处理效率是如何?
: 因为我在尝试各位提供的方法时,发现把档案丢进去处理
: 在下面console的地方等很久还是没有>出现
: 想把过程中的一个阶段的data也点出来看也常常是还在跑的空白XD
: 我的data全部约57万笔
: 因为之前只有load过10万笔内的资料去练习画图之类的而已
: 所以不知道是不是上到这个数字量的资料后 R在执行上就会比较需要时间?
: 或是可能只是我程式有地方没改好XD
: ※ 编辑: playaround (114.35.98.14), 08/23/2017 03:13:54
: → f496328mm: 应该是程式不熟悉的问题 57万笔不算大 08/23 12:34
: → f496328mm: 我目前处理超过千万的data 都很顺 08/23 12:35
让我测试一下我的程式...,我测80万笔都是三十秒内可以结束...
资料生成的程式:
library(data.table)
library(stringr)
# 假设是八十万笔
N <- 8e5L
# 产生资料
DT <- data.table(time = str_c("time", 1L:N), a = sample(1L:20L, N, TRUE),
b = sample(1L:100L, N, TRUE), c = sample(LETTERS, N, TRUE))
outStr <- str_c(DT$time, "\na = ", DT$a, "\nb = ", DT$b, "\nc = ", DT$c,
collapse = "\n")
write(outStr, "out.txt")
资料preview: http://imgur.com/kaB0fWq
资料preview: http://imgur.com/KKSgcjy
法一:http://imgur.com/Q7nv1GO
22秒解决
法二: http://imgur.com/TJFmXEd
17秒解决
电脑配备: [email protected], DRR3-2133 8G * 4, 美光MX200 512GB
作者: playaround (打滚)   2017-08-25 04:43:00
谢谢,我会再好好试一下XD

Links booklink

Contact Us: admin [ a t ] ucptt.com