※ [本文转录自 Soft_Job 看板 #1OxkhDDu ]
作者: Gonocurrus (高那古勒斯) 看板: Soft_Job
标题: [请益] 如何知道Hadoop 在执行什么
时间: Thu Apr 13 11:04:43 2017
大家好
小弟刚进到一家陆资公司
使用Hadoop还做游戏的数据分析, 使用的版本是2013年的版本 0.20.2版
那边同事已经走了几轮了, 所以没有交接 (据说上海习惯跳槽来加薪, 每次30%)
所以基本上Server属于没有维护的状态
在Amazon有三台Hadoop Server一台做NameNode两台做DataNode
目前想要把关掉两个DataNode全部都给Master那台做
理论上应该是修改config的slaves加上Master这台
不过不知道怎么关掉再重启 >''<
现在有Server权限,不过我要怎么知道目前在运行什么呢?
使用history已经看不到当初执行过什么
Server上也没有运行apache, 可以看历史
不知道小弟要从何着手>''<
使用jps看
$ jps
6130 RunJar
5314 JobTracker
4580 SecondaryNameNode
5493 QuorumPeerMain
5635 HMaster
4321 NameNode
879 Jps
使用ps 去看执行参数也看不出所以然
使用下面指令看, QQ 怎么会没有job在运行
$ hadoop job -list
0 jobs currently running
从$HADOOP_HOME 目录看起来logs还是有在update >''<
$ls -lt
hadoop hadoop 4096 Apr 13 02:59 conf
hadoop hadoop 274432 Apr 13 00:56 logs
hadoop hadoop 4096 Apr 10 04:51 ivy
hadoop hadoop 4096 Apr 5 02:41 bin
hadoop hadoop 4096 Jul 24 2013 pids
hadoop hadoop 4096 Jul 24 2013 lib
hadoop hadoop 21107 Jul 9 2013 zookeeper.out
hadoop hadoop 4096 Jun 27 2013 src
hadoop hadoop 4096 Jun 27 2013 docs
hadoop hadoop 4096 Jun 27 2013 cloudera
hadoop hadoop 100359 Mar 20 2013 build.xml
hadoop hadoop 4096 Mar 20 2013 c++
hadoop hadoop 348776 Mar 20 2013 CHANGES.txt
hadoop hadoop 7456 Mar 20 2013 cloudera-pom.xml
hadoop hadoop 4096 Mar 20 2013 contrib
hadoop hadoop 4096 Mar 20 2013 example-confs
hadoop hadoop 6842 Mar 20 2013 hadoop-ant-0.20.2-cdh3u6.jar
hadoop hadoop 3871691 Mar 20 2013 hadoop-core-0.20.2-cdh3u6.jar
hadoop hadoop 142821 Mar 20 2013 hadoop-examples-0.20.2-cdh3u6.jar
hadoop hadoop 2799061 Mar 20 2013 hadoop-test-0.20.2-cdh3u6.jar
hadoop hadoop 175835 Mar 20 2013 hadoop-tools-0.20.2-cdh3u6.jar
hadoop hadoop 10440 Mar 20 2013 ivy.xml
hadoop hadoop 13366 Mar 20 2013 LICENSE.txt
hadoop hadoop 101 Mar 20 2013 NOTICE.txt
hadoop hadoop 1366 Mar 20 2013 README.txt
hadoop hadoop 4096 Mar 20 2013 webapps
hadoop hadoop 4096 Mar 20 2013 sbin
请问有没有前辈可以稍微指导一下, 该从应该哪里着手看起
感谢<(_ _)>