[问题] r+hadoop中rmr/rhdfs问题

楼主: rlearner (rlearner)   2016-12-27 22:44:49
[目的]
在VM上建立三台虚拟机
并建立rhadoop
执行简单的rmr范例
[问题简叙]=============================================================
在VM虚拟器上建立hadoop环境建三台机子,
master,node1,node2
装好了hadoop(hadoop可以运作)
但是装R时遇到了无法library:rmr和rhdfs的问题
且无法install.packages:rJava套作
上叙的环境我装了两次
第一次(环境一)不知怎么的就成功install.packges:
rJava的套,但第二次重装(环境二)却怎么样也无法成功下载
rJava,若rJava无法,rmr跟rhdfs也用不了了!!
[环境一]((提外话~之前莫明成功???)))=====================================
怎么装有点忘了,但跟第二次差不多
感觉还是有点问题...(下有影片连结)
https://www.youtube.com/watch?v=ByAisA_dQxI&feature=youtu.be
[环境二](!!!!!主要问题!!!!!!现在安装失败)))=============================
[安装步骤]
以下是我安装的方法:(文长)(含安装步骤影片)
https://www.youtube.com/watch?v=QTHfV_xYr8A&t=145s
没剪辑7:04-14:30可跳过~下载很久@@
启动hadoop
cd ~/hadoop && sbin/start-all.sh
作者: celestialgod (天)   2016-12-27 22:53:00
可以问有什么需求一定要用rhdfs跟rmr吗?不然我个人觉得用sparklyr就很够了https://goo.gl/BUvChD 我之前有装成功不知道有没有帮助 可以参考看看不过我那篇用英文写,我英文烂,不懂可以在留言QQ
楼主: rlearner (rlearner)   2016-12-27 23:04:00
好,谢谢你我试试,能问一下spark+R跟rhadoop有什么不一样吗? @@ 太感谢你了
作者: celestialgod (天)   2016-12-27 23:12:00
你知道hadoop跟spark的差异吗?知道这点大概就清楚了吧
楼主: rlearner (rlearner)   2016-12-27 23:17:00
两个似乎都是做分布式计算的@@
作者: obarisk (OSWALT)   2016-12-27 23:17:00
job给yarm分配,其实不用每台都装r
楼主: rlearner (rlearner)   2016-12-27 23:20:00
好的 谢谢提醒@@
作者: Edster (Edster)   2016-12-27 23:30:00
卡在rjava的话,有些机率是要去手动更新java, 至于x64或x86的java, 看你的R决定. 另外, java跟rjava版本要对应,其中一个太新都不行。
作者: celestialgod (天)   2016-12-27 23:31:00
java那时候我记得我是装oracle jdk然后都要跑R cmd javareconf,openjdk要移除掉我不确定现在openjdk是否work正常然后all users这个的话 就建议用sudo开R装套件就会直接安装到r安装目录下的library不然我是直接把R library给775权限,全user都可以装
楼主: rlearner (rlearner)   2016-12-27 23:51:00
谢谢大大们,我先消化一下@@请问给775权限是什么意思?是sudo su root吗?
作者: howard40116   2016-12-28 01:38:00
775代表更改权限为rwxrwxr-x

Links booklink

Contact Us: admin [ a t ] ucptt.com