每日一问:如何在yarn中开启cgroup资源隔离

在YARN中开启Cgroups资源隔离，你需要对YARN的配置文件进行一些更改，主要是yarn-site.xml。以下是开启Cgroups资源隔离的步骤：

1. 启用Linux Container Executor： 修改yarn-site.xml文件，将yarn.nodemanager.container-executor.class设置为org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor。

<property>
  <name>yarn.nodemanager.container-executor.class</name>
  <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>

2.配置NodeManager以使用Cgroups： 设置以下属性以启用Cgroups：

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.mount</name>
  <value>true</value>
</property>

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>
  <value>/sys/fs/cgroup</value>
</property>

这里，yarn.nodemanager.linux-container-executor.cgroups.mount-path是Cgroups在系统中的挂载路径。

这里，yarn.nodemanager.linux-container-executor.cgroups.mount-path是Cgroups在系统中的挂载路径。

3.配置Cgroups的Hierarchy： 你可以指定YARN应该使用的Cgroups层级：

<property>
  <name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>
  <value>/hadoop-yarn</value>
</property>

4.设置Cgroups资源限制： 配置CPU和内存的Cgroups限制：

<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>8</value>
</property>

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>16384</value>
</property>

这里的值应该根据你的实际集群资源进行调整。

5.权限和安全性配置：

如果你使用的是非root用户来运行YARN服务，需要配置相关的权限：

<property>
  <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users</name>
  <value>false</value>
</property>

<property>
  <name>yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user</name>
  <value>nobody</value>
</property>

并且需要设置LinuxContainerExecutor以root用户运行，同时指定NodeManager用户组：

<property>
  <name>yarn.nodemanager.linux-container-executor.group</name>
  <value>yarn</value>
</property>

6.重启YARN服务：
保存配置并重启YARN的ResourceManager和所有的NodeManager服务以使配置生效。

请注意，开启Cgroups可能需要你在操作系统层面上进行一些配置，例如确保Cgroups文件系统已经挂载，以及相应的内核模块已经加载。此外，确保YARN的NodeManager具有操作Cgroups的必要权限。