[请益] docker cloudera 架设请教(赠1000p)

楼主: askdrlin (中央氣象局)   2018-12-06 16:36:51
各位前辈好,真的卡了好久快不行了.......
爬了好几天的文,还是差那么一点
帮我解答的前辈,小弟以1000p币回报...若有同时答的以推文先的为主,谢谢QAQ
小弟我想请教一下
目前我的目标是想利用docker 去架设cloudera 分布式系统
有三台主机,主节点那台是连的到外网的固定ip,从节点两台是内网
彼此三台都可以ssh,目前我的操作流程是这样的
使用的系统是centos7
master是直接灌在主机上的centos
剩下两台slaver是用vm开的,用桥接接口卡去设定
1.修改主机名称
hostnamectl set-hostname master
hostnamectl set-hostname slaver1
hostnamectl set-hostname slaver2
2.设定hosts档案(三台都做)
vim /etc/hosts
10.***.**.*** master
10.***.**.*** slaver1
10.***.**.*** slaver2
(IP后面码掉了)
3.配置ssh无密码登入
ssh-keygen -t rsa #全部enter跳过产生密码
ssh-copy-id master
ssh-copy-id slaver1
ssh-copy-id slaver2
4.关闭防火墙
systemctl mask firewalld.service
systemctl disable firewalld.service
5.关闭selinux
sed -i '/SELINUX=enforcing/d' /etc/selinux/config
sed -i '/SELINUX=disabled/d' /etc/selinux/config
echo "SELINUX=disabled" >> /etc/selinux/config
reboot #重开
vim /etc/selinux/config # 检查档案
#SELINUX=disabled
6.禁用IPv6
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
7.ntp时间同步(没有好像也可以,但较保险)
yum install ntp
ntpdate -u time.nuri.net
三台各自准备docker
yum install docker
systemctl enable docker
systemctl start docker
systemctl status docker #检查状态
docker version #查看doceker版本
docker run hello-world #试用
主节点准备docker cloudera
docker pull cloudera/quickstart:latest
docker images #确定目前有的映象 应该有hello跟cloudera
docker run
作者: honochung (http://lol.moa.tw)   2018-12-06 16:47:00
跟cloudera不熟 不过 你在manager add host ip应该会要是 slave的ip
楼主: askdrlin (中央氣象局)   2018-12-06 16:50:00
你好 我add host时是用slaver的ip没错,有搜寻到但是没办法连结成功
作者: honochung (http://lol.moa.tw)   2018-12-06 16:51:00
不过 这边没看到你在slave有跑 cloudera
楼主: askdrlin (中央氣象局)   2018-12-06 16:53:00
助教是说从节点可架可不架 但是架了比较没错 主节点灌就好...且两台slaver也有架的话,三台都会变成docker的虚拟ip这样可能会更连不起来吗?
作者: gofigure (平行世界)   2018-12-06 16:55:00
这不是功课版 你看不懂中文?
作者: honochung (http://lol.moa.tw)   2018-12-06 16:57:00
先不要管container的ip, 他们互连都要是host的ipdocker run --add-host="master:10.*.*.*"--add-host="slaver1:10.*.*.*"这样container就可以用 master, slaver1, slaver2我记得worker要装cloudera agent
作者: samuel1988 (小羊快跑啊)   2018-12-06 17:37:00
所以你这两台都有配ip吗?指的是host ip
作者: kenshin528 (成立奥凶帝国!!)   2018-12-06 20:22:00
用 docker compose 直接用 hostname 连不用管ip
作者: cosmic01 (漂流的风)   2018-12-06 20:38:00
https://tinyurl.com/yaaab7du试试看上面的方法,直接publish all portsdocker run -P my_app
作者: soappaos (肥皂)   2018-12-07 15:45:00
container run 的时候--network host,使用host的network stack,就可以不用forward port了
作者: jasonwu23 (jasonwu)   2018-12-08 12:34:00
你是用docker-compose吗不要一个个连 看一下docker-compose

Links booklink

Contact Us: admin [ a t ] ucptt.com