hadoop是什么

提到大数据开发，不得不说Hadoop,Hadoop是一个由Apache基金会所开发的分布式系统基础架构，实现了分布式文件系统（HDFS），在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。

环境介绍

Windows系统VMware虚拟机

内部安装Centos 7 系统

JDK1.8版本

Hadoop-2.6.1版本

搭建前提

1、已在虚拟机里安装3个Centos7环境

2、已为系统进行shh互信设置

3、三个操作系统hostname分别是master,slave1,slave2

开始搭建

1、下载Hadoop-2.6.1，输入命令解压命令

tar -xvf hadoop-2.6.1.tar.gz

如下图所示

2、修改配置文件

进入配置目录

cd hadoop-2.6.1/etc/hadoop

如下图所示

修改 hadoop-env.sh

vim hadoop-env.sh

添加JAVA_HOME=JDK具体目录，并保存退出

修改 yarn-env.sh

vim yarn-env.sh

添加JAVA_HOME=JDK具体目录，并保存退出

修改slaves

vim slaves

添加slave1,slave2,如图所示

修改core-site.xml

vim core-site.xml

如图所示

修改hdfs-site.xml

vim hdfs-site.xml

如图所示

将mapred-site.xml.template重命名mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

修改mapred-site.xml

vim mapred-site.xml

如图所示

返回hadoop-2.6.1 目录

cd ../../

创建文件夹

mkdir -p dfs/name

mkdir -p dfs/name

mkdir -p tmp

修改环境变量

vim ~/.bashrc

如图所示

生效环境配置

source ~/.bashrc

将master机器hadoop文件分发到slave1,slave2

scp -r hadoop-2.6.1 root@slave1:/usr/local/src

scp -r hadoop-2.6.1 root@slave2:/usr/local/src

格式化集群

cd hadoop-2.6.1/sbin/

hadoop namenode format

启动集群

./start-dfs.sh

./start-all.sh

查看配置结果

配置完成后使用jps查看进程，如图所示

备注：在最后启动集群时，遇到启动失败问题，提示master鉴权失败，可是在三台机子的ssh 登录验证都是测试通过，最后通过删除hadoop文件下的dfs/data文件夹，dfs/name文件夹,以及tmp文件夹，重新格式化集群得以解决。

总结

在配置Hadoop集群过程中，并不是一帆风顺，中间也遇到过很多问题，在遇到问题是首先要自我检查，尤其检查各种配置文件有没有手误写错，遇到问题尽量根据提示去判断并解决问题。

如果觉得文章对你有帮助，请点击关注，后续会有更多干货分享~