Re: [讨论] R平行运算 Rmpi安装(Mac/Ubuntu/CentOS)

楼主: JackBaska (Baska)   2016-05-02 08:33:31
Mac 直接参考 Rmpi 设置网页即可 , 有安装home brew 的话 , 基本上
没大问题 , 不熟home brew 安装的人可以直接查 home brew 网页,已经
整理到只要把上面那行原封不动贴到 command line 即可安装好home brew
由于小弟有点菜加上手边机器都是借别人的 , 版本跟系统都很乱 , 才
会搞了好几种 , 感谢 W 大还有 C 大详细的指教
=================Linux Ubuntu 快速安装============================
1. 把OpenMPI装好 (安装过程本内容有写)
2. 回去R安装其他的.......... end
由于我照参考连结还是会遇到自动抓取常常说找不到或版本不行 , 如 Wush 大所说
如果单装openmpi , 依旧不能用 还要装很多东西,所以我直接加了apt-get的默认字
元 "*"
一行解:
sudo apt-get install openmpi-* libopenmpi-* openssh-*
参考连结:
(过长 缩网址会被当广告 请自行拼贴)
http://lsi.ugr.es/~jmantas/pdp/ayuda/datos/instalaciones/
Install_OpenMPI_en.pdf
==============================================================================
==========================CentOS 保险版安装===================================
1. 下载 OpenMPI
OpenMPI 参考网页
https://www.open-mpi.org/software/ompi/v1.10/
OpenMPI 安装影片
https://www.youtube.com/watch?v=QIMAu_o_5V8
2. 设定环境告知mpi 位址(此段请加入 .bashrc):
export PATH=/home/user_local/openmpi_install_dir/bin:$PATH
export LD_LIBRARY_PATH=/home/user_local/openmpi_install_dir/lib:$LD_LIBRARY_PAT
export LD_PRELOAD=/home/user_local/openmpi_install_dir/lib/libmpi.so:$LD_PRELOAD
(第三行是在你一直跳load 问题用的)
3. Compile Rmpi (请确定抓好了Rmpi):
R CMD INSTALL Rmpi_your_version.tar.gz \
作者: Wush978 (拒看低质媒体)   2016-05-02 09:50:00
要跑的机器请全部都一样的作业系统, 一样的R版本,一样的安装方法... 最方便的就是全部都Ubuntu, 然后用apt-get 装。你就会发现我过去写的文章都是多余的,因为linux上安装简单到不需要guide, 而其他作业系统就算装完也很难用RAM不是重点呀,环境才是重点... CentOS的话,自己去抓OpenMPI来编译也不会太难不管怎么说,我建议环境在Cluster上一定要要一模一样R的执行路径, MPI的执行路径, 所有R套件的安装路径...然后ssh全部都设定畅通, 让彼此ssh都是输入后直接登入弄完之后,Rmpi / pbdMPI(我更推) 都是水到渠成
楼主: JackBaska (Baska)   2016-05-02 10:29:00
嗯嗯 , RAM方面主要是有一个人请我帮忙的东西,很烧RAM感谢Wush的建议,我还要多爬爬文,之前太习惯直接用root设定东西,现在这个状况我还要爬一下怎么处理我其实有想过是否可以改他的算法,让存取的东西分开计算再做最后的合并写入,但我觉得我功力还不够.....我今天早上是已经装好OpenMPI,但编译卡在R的路径设定一直抓不到mpi的 header
作者: Wush978 (拒看低质媒体)   2016-05-02 12:10:00
以ubuntu为例,要装 libopenmpi-dev, 光openmpi-bin不够

Links booklink

Contact Us: admin [ a t ] ucptt.com