[问题] parSapply问题

楼主: SFMAndroid (安卓发送)   2016-03-17 14:48:16
[问题类型]:
效能咨询(我想让R 跑更快)
[软件熟悉度]:
请把以下不需要的部份删除
入门(写过其他程式,只是对语法不熟悉)
[问题叙述]:
请简略描述你所要做的事情,或是这个程式的目的
爬PTT文章,原本是用sapply加上自定义函数,
但实在跑太久,想说用snow::parSapply会不会比较快,
但一直遇到问题@@
除了找不到所有httr里的函数外
即使用clusterEvalQ把所有未定义的函数都定义后,
就出现is.url(url) is not true的无限轮回...
但改回用sapply除了跑很久外完全正常,
请问有没有大大知道该怎么办??
感谢~
[程式范例]:
https://gist.github.com/anonymous/a45f6d04254adb27e64a
[环境叙述]:
R version 3.2.1 (2015-06-18)
Platform: i386-w64-mingw32/i386 (32-bit)
Running under: Windows 8 x64 (build 9200)
locale:
[1] LC_COLLATE=Chinese (Traditional)_Taiwan.950
[2] LC_CTYPE=Chinese (Traditional)_Taiwan.950
[3] LC_MONETARY=Chinese (Traditional)_Taiwan.950
[4] LC_NUMERIC=C
[5] LC_TIME=Chinese (Traditional)_Taiwan.950
attached base packages:
[1] parallel stats graphics grDevices utils datasets methods base
[关键字]:
snow, parallel computing
作者: Wush978 (拒看低质媒体)   2016-03-17 23:13:00
利用 clusterEvalQ 来比对: ls() 与 searchpaths()是不是有漏掉东西没在worker上加载

Links booklink

Contact Us: admin [ a t ] ucptt.com