※ 引述《missingmini (just missing)》之铭言：
: [程式范例]:
: 我有一个很大的 data.table 物件，名称为 tbl_left，是由 fread 读入文字档案
: 建立的，大小为 1821350 x 24。这 24 栏里面其中一个叫做 ID，其型态为 character。
: 另有一个较小的 data.table，名称为 tbl_right，也是由 fread 建立的，大小为
: 1289 x 24。这 24 栏里面也有一个叫做 ID，型态也是 character。
: 现在我执行 tbl_joined <- dplyr:::left_join(tbl_left, tbl_right, by = "ID")
: 产生一个新的物件 tbl_joined，发现它有 1821479 列，比原来 tbl_left 的 1821350
: 还多了 129 列。研究了一下，发现是因为 tbl_right 里面有些列的 ID 字段有重复的，
: 所以 join 到 tbl_left 之后，会有多出来的列。
: 为了找出究竟是哪些重复的 ID 造成此结果，我做的步骤如下：
: [1] 首先，用 distinct(select(tbl_right, ID)) 得到的结果有 1159 列，得知有
: 1289 - 1159 = 130 列是重复的
: [2] 用以下程式
: right_ID <- select(tbl_right, ID)
: right_ID_sorted <- sort(right_ID$ID)
: right_ID_dup = rep(" ", 130) # create a character vector of length 130
: j = 1
: for (i in 1:(length(right_ID_sorted)-1)) {
: if (right_ID_sorted[i] == right_ID_sorted[i+1]) {
: right_ID_dup[j] <- right_ID_sorted[i]; j <- j+1
: }
: }
: 如此得到的 right_ID_dup 就是所有在 tbl_right 中有重复的 ID 值
: [3] 再来要找出 right_ID_dup 里面，又有哪些值同时存在 tbl_left$ID
: (所以才会被 join 进来)，用以下程式
: for (tgt_ID in right_ID_dup) {
: for (j in 1:length(tbl_left$ID)) {
: if (tgt_ID == tbl_left[j]$ID) cat(tgt_ID, "\n")
: }
: }
: 结果这程式跑得非常的慢！跑了两个小时只印出两个值，于是放弃此方法。
: 上网搜寻，得到以下解法：
: tst <- c(unique(tbl_left$ID), unique(right_ID_dup))
: comm_ID <- tst[duplicated(tst)]
: 此法很快就得出结果，comm_ID 长度为 87，所以现在知道有 87 个 ID 值，
: 是同时存在 tbl_left 与 tbl_right 的。
: [4] 最后，要找出这 87 个 ID 值，总共在 tbl_right 中出现了几次，写了以下程式
: occur_total <- 0
: for (elem in comm_ID) {
: occur <- 0
: for (j in 1:length(tbl_right$ID)) {
: if (elem == tbl_right[j]$ID) occur <- occur + 1
: }
: occur_total <- occur_total + occur
: }
: cat("Total: ", occur_total, "\n")
: 结果印出 Total: 216
: 所以总共的重复次数为 216 - 87 = 129。可以解释为何经过 join 之后，结果比
: 原来的 tbl_left 多了 129 列。
: 但是。。。这个程式跑得也有点慢，大概近 5 分钟才跑完。我想原因跟 [3] 的程式
: 是相同的，亦即是
: ==> R 的循环就是很慢！
: 因此我的问题如下：
: (1) R 的循环为何可以慢成这样? 我知道有研究过底层的高手理解来龙去脉，但对于
: 新手而言，有没有什么简单的说法可以 give some insight?
: (2) [4] 的程式有什么替代解法可以跑得比较快的?
: (3) [2] 的程式虽然不慢，但我相信高手可以提出更快更适合 R 的写法
我不知道怎么跟你解释R的循环很慢
可是有时候循环还是很快的 (看前几篇更改矩阵的值就快很多)
而且，R有很多方法可以避免循环，想办法用vectorise的方法去做才会快
这个法门只能多认识一些R的基础函数
看你的写法大概不知道 %in%, match，所以才会逐个元素做比较
先从学习这两个函数，把循环改回一层开始吧
下面是用较快的程式 (其实善用duplicated就可以解决这些问题)
([2]~[4]全部都改写到我电脑(cpu:B970)不用1秒就跑出结果了...)
程式：http://pastebin.com/36PheyGS
'%>%'跟duplicated的用法可以往前看我撰写的相关文章
(duplicated在base跟data.table都有，我这里都用data.table的method)