- 讨论: 当你自己已经有答案，但是也想听听版友意见时
[问题类型]:
效能咨询(我想让R 跑更快)
[软件熟悉度]:
使用者(已经有用R 做过不少作品)
[问题叙述]:
各位 R 领域专业的大大们好 , 小弟最近想开始用R的平行计算功能
已经拜读过 Wush大的平行计算笔记 , 也照一些原文网站内容用Terminal
安装好 OpenMP 跟 用R 处理好 Rmpi了 , 也成功repeat 一些平行
的小范例
不过我我要做的运算主要会用到一些 Machine Learning的套件,但
我在试跑时会遇到一些问题像是 , 开始跑之后表示没有该套件的方
法,我后来是在里面直接做 套件 require处理 , 但还是会有一些载
入资料,还有相关引数的问题
想询问各位是否知道什么资源可以学R的平行的一些讯息 , 因为我的
运算只有特定段落有需要平行 , 所以我希望能熟悉 R 的平行,像是我
要把工作分给 Slave 时, 让他们可以完全接收原本 R kernel已加载
的一些资讯,并把套件跟需求物件正确的传给所有 Slave
另外如果有详细 R 怎么做资源分配的资讯也麻烦各位指点了 , 因为
目前这几个parallel 的范例我都还没看到资源分配相关的资讯 , 有点
疑惑
以上主要是针对 CPU 平行问的 , 手边也有GPU Cluster , 如果有人
有推荐的GPU 在 R 的应用 , 也感激不尽 , 不过对CUDA还不熟 ,所以
先不打算用CPU的部分
另外想问一下有没有人知道 OpenMP 还有 Rmpi得设置要怎么只建置
在特定User下面 , 由于手边的Cluster 有部分没有 Root , 所以在
管理员有空前我可能得自己处理 , 以前装package是用只建置在User
底下的方式 , 但mpi 还有 Rmpi有部分步骤要用command line装,我
安装时一直被挡掉说我权限不足
[你的答案]:
有想到几种加载方式还在试 , 但相对还不是我想要的型式 , 觉得另外
自己加入加载段落不见得是好的 , 想了解要怎么用 R 正确且有效率的
做这件事
另外小弟现在是先用笔电做小资料集的小规模计算测试 , 等大致熟练
才会搬到cluter上面
小弟是平行菜鸟 , 还请大家多多指教
[关键字]:
R 平行运算
Master Slave / Head Node
Cluster
Parallel Computing by CPU