大数据之-Hadoop3.x_Yarn_常用命令---大数据之hadoop3.x_0147

?

可以看到我们执行wordcount案例,然后可以通过yarn命令查看任务运行情况

?

首先我们去启动集群.

?

可以看到yarn也启动好了,集群启动好了以后

?

可以看到我们去访问一下hdfs,去看看

hadoop102:9870/dfshelath.html

然后点击browse the file system,然后进入到这个

hadoop102:9870/explorer.html

?

可以看到有个input output

?

首先我们进入hadoop目录,然后

?

看看都有哪些文件,然后我们进入 hadoop jar share/ 可以看到在share/目录

可以看到hadoop jar是执行hadoop程序的命令,如果没有找到对应的程序,那么就进入相应的目录

hadoop jar share/hadoop 进入share下的hadoop目录

?

然后我们执行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples.3.1.3.jar wordcount /input /output1

可以看到因为我们在hdfs中看到已经有output那个文件夹了,所以这里我们换了一个,换成了output1这个文件夹了对吧.

?

执行前我们先打开这个hadoop103:8088/cluster 集群控制台去看看

从这里去查看运行情况

?

然后我们去看看,我们用yarn去查看运行的日志

?

我们执行yarn application -list

?

可以看到显示final-state,没有显示的任务了,任务都已经结束了对吧.

?

如果没有结束的话,在这里你就能看到,对应的任务执行的application id

application name application-type user queue

我们把这个拿出来:

?

去看一下可以看到对比一下就能看出来,在网页端也可以看,任务运行的情况,在yarn中通过命令也可以看到对吧.

?

然后我们来看一下这个命令yarn application -list -appStates

?

可以看到我们执行yarn application -list -appStates FINISHED 可以看到,显示了一个任务已经结束了.

?

我们去hadoop的管理端去看看,可以看到,有一样的id,对吧,说明这个管理端,网页的,和命令有一样的效果,都可以实现查看

对应状态的应用

?

然后执行 yarn application -kill application_1612577921195_001

?

如果这个应用已经卡了,1天了可用这个命令结束掉

?

这个查看日志的命令,用的很多

yarn logs -applicationId application_1612659778342_0001

?

可以看到执行以后,就看到了日志内容.

?

如果运行过程中,某个容器中的Task,失败了,那么怎么找到,查看容器的日志呢

?

可以看到,这里yarn logs -applicationId <ApplicationId> -containerId<ContainerId>

需要applicationId,就是查看哪个应用的,哪个container下面的日志

这里的containerid怎么获取呢.后面我们会说到

?

可以看到,通过yarn applicationttempt -list applicationId

可以查看,某个应用正在尝试运行的列表

?

可以看到我们执行一下,查到一个应用id,并且他的状态是已经结束了对吧,可以看到这里面有个

container_1612659778342_0001_01_000001

现在我们就有这个容器id了.

?

yarn logs -applicationId application_1612659778342_0001 -containerId container_1612659778342_0001_01_000001

这样就可以查看某个应用下的,某个容器的ID了

?

可以看到某个容器的日志

?

然后查看applicationAttemp尝试提交的应用的,运行的的应用的状态

?

可以看到

yarn applicationattempt -status appattempt_1612659778342_0001_000001

可以看到查看了,尝试提交的任务的运行的状态可以看到是FINISHED的状态,上面说的一些状态都可以查看

?

?

可以用yarn container -list appattempt_1612659778342_0001_000001类似这样查看,某个尝试运行的应用

在几个容器中运行,这些容器的列表可以显示出来,但是这个需要在应用运行的时候才能查看到,运行完了以后

就被释放了.

?

然后

yarn container -status containerId

可以查看某个container的运行状态

?

可以看到执行以后,就已经不存在了对吧,因为 yarn container -status containerId 这个只能查看,运行中的容器

?

?

然后这个yarn node -list -all

这个是节点的列表,可以看到我们一共有3个node manager对吧,都显示出来了,正在运行的状态

?

?

可以看到执行,yarn readmin -refreshQueues 这个命令,可以重新加载yarn队列相关的配置,如果你修改了队列,那么

不需要重启yarn,现在只需要,执行

这个命令,他就会自动重新加载yarn队列的配置.

?

可以看到yarn queue 查看队列 的状态情况

?

yarn queue -status default 可以看到这是 队列的默认状态

可以看到 capacity 容量是百分之百,然后current capacity 是当前使用的容量是百分之0,然后

maximum capacity 最大容量是百分之百

当前这个队列 还没有被使用

?

当前队列除了用命令查看意外还可以在web后端查看

可以看到点击scheduler然后

?

然后可以看到队列地信息?