※ 引述《kial (夏澄)》之铭言：
:
: - 问题: 当你想要问问题时，请使用这个类别。
: 建议先到 http://tinyurl.com/mnerchs 搜寻本板旧文。
:
: [问题类型]:
:
: 效能咨询(我想让R 跑更快)
:
: [软件熟悉度]:
: 请把以下不需要的部份删除
: 入门(写过其他程式，只是对语法不熟悉)
: [问题叙述]:
: 请简略描述你所要做的事情，或是这个程式的目的
: 我有一个约千万笔的产品交易纪录
: 格式长得像下面这样子
: #testdata
: customerid：AAAAAAAAAA
: payment：BBBBBBBB
: ReadTime：CCCCCC
: 20170419020204PruductNumber：DDDDDD：NT00183.1415Number：40
: 20170419020205PruductNumber：EEEEEE：NT00184.1415Number：42
: 20170419020206PruductNumber：FFFFFF：NT00185.1415Number：44
: 客户：GGGGGGGGGGG
: 付款方式：III
: 读取时间：JJJJJJ
: 20170419020204PruductNumber：KKKKKK：NT00040.1610Number：40
: 20170419020205PruductNumber：EEEEEE：NT00041.1610Number：42
: 20170419020206PruductNumber：FFFFFF：NT00042.1610Number：44
: 20170419020207PruductNumber：HHHHHH：NT00043.1610Number：46
: 我想要整理成
: 客户 付款方式 读取时间 交易时间 产品序号 金额 数量
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020204 DDDDDD 00183.1415 40
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020205 EEEEEE 00184.1415 42
: AAAAAAAAAAA BBBBBB CCCCCC 20170419020206 FFFFFF 00185.1415 44
: GGGGGGGGGGG III JJJJJJ 20170419020204 KKKKKK 00040.1610 40
: GGGGGGGGGGG III JJJJJJ 20170419020205 EEEEEE 00041.1610 42
: GGGGGGGGGGG III JJJJJJ 20170419020206 FFFFFF 00042.1610 44
: GGGGGGGGGGG III JJJJJJ 20170419020207 HHHHHH 00043.1610 46
: 目前程式的雏型是读入data后用for循环跟if和substr判定关键字，
: 再用substr写入各变量后，利用rbind结合变量输出。
: 但是碰到的问题是利用测试资料试跑时(约10000笔)就碰上了效能不佳的问题，
: 真实资料约1000万笔，请问有无处理此类资料的套件或是效能较佳的解法呢？
: 感谢。
程式：https://pastebin.com/idYqA03T
说明如下：
我不知道你的data source如何
我先假设你的资料是单一档案
如果你内存不能全部吃下，就分段执行
只是要记得可能会断在中间，这部分要额外再处理，但这里就不谈
data generation的部分，我就略过
其实你的资料满好parse的，所以只要抓对区块
然后再分成基本资讯跟消费物品就处理完了
因为我没乱排基本资讯的三个字段
所以我只是很单纯去抓customerid这个字段的位置
然后做个cumsum当作split的vector即可
parsing部分，基本资讯就用regexp: (customerid|payment|ReadTime): (.*)
配合stringr::str_match，把基本资讯抓出来
然后再用match调到对的地方 (我data生成，没有打乱顺序，所以其实不用这个步骤)
再来明细部分就用这个regexp:
(\\d{14})PruductNumber: ([a-zA-Z0-9]+): NT(\\d{5}\\.\\d{4})Number: (\\d+)
第一个小括号抓出日期，第二个抓PruductNumber，第三个抓价钱，第四个抓数量
抓下来之后，str_match取最后四行就是我们要的四个字段了
最后整并成data.table就完工了
这样做下来，我电脑CPU是i7-3770K，八个执行绪，我用七个跑
只需要16.86秒就处理完一万笔record了
一千万的话，可能大概要16860秒，也就是4.68小时...
除非你有更强的电脑，拥有更多的thread
或是使用多台电脑(用makeCluster可以多台多个thread跑)
不然你想要在短时间内用R处理完可能还满难的....
系统资讯：作业系统是windows 10, Microsoft R Open 3.3.3
Note: 要注意matrix取出一行或是一列时，R会把dimension drop掉，变成vector
所以记得补上一个drop = TRUE让他永远是matrix，这样输入data.table/data.frame
才会是数个column