如何使用YARN?（如何使用灭火器四个步骤）

YARN是一种软件重写，可将MapReduce的资源管理和调度功能与数据处理组件分离开来，从而使Hadoop支持更多样化的处理方法和更广泛的应用程序。例如，Hadoop集群现在可以与MapReduce批处理作业同时运行交互式查询和流数据应用程序。接下来，我们将在Apache Hive上使用Apache YARN。

将文件添加到yarn-site.xml你的/usr/local/hadoop/etc/hadoop文件夹中，其中包含以下内容：

首先，使用以下命令启动DFS：

接下来，使用以下命令启动YARN Resource Manager yarn resourcemanager start：

然后，使用以下命令启动YARN Node Manager yarn nodemanager start：

启动你的Hive CLI并触发insert查询，因为它是MapReduce查询：

现在，为什么这项工作失败了？有两种查看应用程序日志的方法。一种是通过键入command yarn logs -applicationId <applicationId>：

而另一种是通过导航到YARN UI作业跟踪URL所指定的作业排名。

从错误消息中，你可以看到你使用的虚拟内存超过了当前1.0 GB的限制。这可以通过两种方式解决：一种是通过将你的内存yarn.app.mapreduce.am.resource.mb增加到更高的值，例如4096。另一个是在启动Hive时触发查询来指定此设置：

现在，即使你导航到YARN UI，查询也将成功。

以上，希望本篇内容对你有用。

需要完整大数据学习线路+资料包+免费配套视频，评论“111”