![Hadoop大数据技术开发实战](https://wfqqreader-1252317822.image.myqcloud.com/cover/392/27563392/b_27563392.jpg)
3.5 搭建Hadoop 2.x分布式集群
本例的搭建思路是,在节点centos01中安装Hadoop并修改配置文件,然后将配置好的Hadoop安装文件远程复制到集群中的其他节点。集群各节点的角色分配如表3-1所示。
表3-1 Hadoop集群角色分配
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-T54_6123.jpg?sign=1739369795-jtA9pnWnV02leDbqJjpuUEdhXZI6vJCb-0-581f14d735de1eb0c4160e3d7f515600)
表3-1中的角色指的是Hadoop集群各节点所启动的守护进程,其中的NameNode、DataNode和SecondaryNameNode是HDFS集群所启动的进程(HDFS将在第4章进行详细讲解);ResourceManager和NodeManager是YARN集群所启动的进程。
Hadoop集群搭建的操作步骤如下。
1. 上传Hadoop并解压
在centos01节点中,将Hadoop安装文件hadoop-2.8.2.tar.gz上传到/opt/softwares/目录,然后进入该目录,解压安装文件到/opt/modules/,命令如下:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P54_6121.jpg?sign=1739369795-TvPXJ2EVmdvzNfEmRkGChT1bfOXuKqlh-0-7e22ac2529c3cf13e40f84b605c1cd06)
2. 配置系统环境变量
为了可以方便地在任意目录下执行Hadoop命令,而不需要进入到Hadoop安装目录,需要配置Hadoop系统环境变量。此处只需要配置centos01节点即可。
执行以下命令,修改文件/etc/profile:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/54.jpg?sign=1739369795-VdqKRXp30eLM13TnYoZNYmpERPPjFbxH-0-0c00e12ae78d3dac9863f7d7a7a4b6f0)
在文件末尾加入以下内容:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P54_6119.jpg?sign=1739369795-PbujikwJb0SGx7arckVdDcGawf32CMz2-0-3a8c4bebd875f2ed962934ceb2514ec5)
执行以下命令,刷新profile文件,使修改生效。
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P54_6120.jpg?sign=1739369795-2GWtVMCtTB8Rd7IrDoCMMo3A47I0y8Xb-0-8a89b15a22d41e6d4f03ccb793fa1d31)
执行hadoop命令,若能成功输出以下返回信息,说明Hadoop系统变量配置成功:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P55_6318.jpg?sign=1739369795-LeZio3C3zYs4dOpi9gVRlxcymuz0ToDl-0-f873dc75b2af4065cfcc7045cf170037)
3. 配置Hadoop环境变量
Hadoop所有的配置文件都存在于安装目录下的etc/hadoop中,进入该目录,修改以下配置文件:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P55_6317.jpg?sign=1739369795-SMTlxYaztpd9iOixOIay2i0t9wmt2Kxx-0-45b11c9ef2ed705d95e206fa78d1ce62)
三个文件分别加入JAVA_HOME环境变量,如下:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P55_6319.jpg?sign=1739369795-hf6HztVOUol1op2OML15E0h9H7tbPCmJ-0-1a38d40fe7cf36b930f786acb416ab16)
4. 配置HDFS
(1)修改配置文件core-site.xml,加入以下内容:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P55_6316.jpg?sign=1739369795-I7DdaoFpgpb6RSY2Mrshm2Hicx7Rfiqk-0-ea06d3f37973dc3cf14cbcaac6f344b1)
上述配置属性解析如下:
- fs.defaultFS:HDFS的默认访问路径,也是NameNode的访问地址。
- hadoop.tmp.dir:Hadoop数据文件的存放目录。该参数如果不配置,默认指向/tmp目录,而/tmp目录在系统重启后会自动被清空,从而导致Hadoop的文件系统数据丢失。
(2)修改配置文件hdfs-site.xml,加入以下内容:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P55_6315.jpg?sign=1739369795-yetqP0Dc8xWBZvUc5EvBr1ZS2URI0T3A-0-a07333d1dc9b725efe9fc5ba9253bd48)
上述配置属性解析如下:
- dfs.replication:文件在HDFS系统中的副本数。
- dfs.namenode.name.dir:NameNode节点数据在本地文件系统的存放位置。
- dfs.datanode.data.dir:DataNode节点数据在本地文件系统的存放位置。
(3)修改slaves文件,配置DataNode节点。slaves文件原本无任何内容,需要将所有DataNode节点的主机名都添加进去,每个主机名占一整行(注意不要有空格)。本例中,DataNode为三个节点,配置信息如下:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P56_6485.jpg?sign=1739369795-1mVCZnLjwdLsCzHKo4HJZUfGiMDuxlga-0-c3434a822477b42b60dc85ab0048fd4c)
5. 配置YARN
(1)重命名mapred-site.xml.template文件为mapred-site.xml,修改mapred-site.xml文件,添加以下内容,指定任务执行框架为YARN。
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P56_6481.jpg?sign=1739369795-rOzFZpINutF22vsUwVoaOMd4PKPF9QAG-0-fdc792f8c5de118042f6fb5e5c1b2b76)
(2)修改yarn-site.xml文件,添加以下内容:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P56_6482.jpg?sign=1739369795-qgX0turIN743t5p1p8q9jrytav8l7GQQ-0-106248f79fffe942ad6671dae7c79c77)
上述配置属性解析如下:
- yarn.nodemanager.aux-services:NodeManager上运行的附属服务,需配置成mapreduce_shuffle才可运行MapReduce程序。YARN提供了该配置项用于在NodeManager上扩展自定义服务,MapReduce的Shuffle功能正是一种扩展服务。
也可以继续在yarn-site.xml文件中添加以下属性内容,指定ResourceManager所在的节点与访问端口(默认端口为8032),此处指定ResourceManager运行在centos01节点:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6565.jpg?sign=1739369795-MRlLVH0dTl0qUmIf2y4mWNSPC0cfWYeT-0-3885311035b346bd1d714abb3e2274a9)
若不添加上述内容,ResourceManager将默认在执行YARN启动命令(start-yarn.sh)的节点上启动。
6. 复制Hadoop安装文件到其他主机
在centos01节点上,将配置好的整个Hadoop安装目录复制到其他节点(centos02和centos03),命令如下:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6566.jpg?sign=1739369795-XunRqOzw49wKGmab6pPgLdEzfU2PCQxY-0-14f6f511e8071da9e0bdaa84dff388ea)
7. 格式化NameNode
启动Hadoop之前,需要先格式化NameNode。格式化NameNode可以初始化HDFS文件系统的一些目录和文件,在centos01节点上执行以下命令,进行格式化操作:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6567.jpg?sign=1739369795-FbKoXrpaWddB68RZt9D7ZRAa9mAG4nZv-0-b6b0fee0cb8a056cc479507b22a492a5)
若能输出以下信息,说明格式化成功:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6568.jpg?sign=1739369795-AyZdcY9fBxgObNpeNVUAkzgrZ4TZAMSV-0-26be16496de7f079f6b8c20f87af0284)
格式化成功后,会在当前节点的Hadoop安装目录中生成tmp/dfs/name/current目录,该目录中则生成了用于存储HDFS文件系统元数据信息的文件fsimage(关于元数据文件将在下一章进行详细讲解),如图3-8所示。
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6548.jpg?sign=1739369795-X2x1CJc6TeOCAXPzU9GnGl1JSAqrgUpH-0-7d38dfa784dfd5940ae17b768286a23e)
图3-8 格式化NameNode后生成的相关文件
需要注意的是,必须在NameNode所在节点上进行格式化操作。
8. 启动Hadoop
在centos01节点上执行以下命令,启动Hadoop集群:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P57_6570.jpg?sign=1739369795-rGpHfmnQEETS9nhcFzJlqk2taqWsR4JM-0-b7dafcad4ff8887df76c881ab708780b)
也可以执行start-dfs.sh和start-yarn.sh分别启动HDFS集群和YARN集群。
Hadoop安装目录下的sbin目录中存放了很多启动脚本,若由于内存等原因使集群中的某个守护进程宕掉了,可以执行该目录中的脚本对相应的守护进程进行启动。常用的启动和停止脚本及说明如表3-2所示。
表3-2 Hadoop启动和停止脚本及说明
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-T58_6826.jpg?sign=1739369795-2k0qnYblkuVTyiLL8oyJvgYncwFcg7BI-0-650483d66582a88f218975c6ba9228e8)
注意
①若不配置SecondaryNameNode所在的节点,将默认在执行HDFS启动命令(start-dfs.sh)的节点上启动;②若不配置ResourceManager所在的节点,将默认在执行YARN启动命令(start-yarn.sh)的节点上启动;若配置了ResourceManager所在的节点,则必须在所配置的节点启动YARN,否则在其他节点启动时将抛出异常;③NodeManager无须配置,会与DataNode在同一个节点上,以获取任务执行时的数据本地性优势,即有DataNode的节点就会有NodeManager。
9. 查看各节点启动进程
集群启动成功后,分别在各个节点上执行jps命令,查看启动的Java进程。可以看到,各节点的Java进程如下。
centos01节点的进程:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P58_6823.jpg?sign=1739369795-72YOsWyItFmYVdiBfZKC1z7s6fEe5wy4-0-6d5544da58747e02e8432f0e105ce184)
centos02节点的进程:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P59_6911.jpg?sign=1739369795-cnlX1ZFiuYUga8gDLp9bbBa9D13TQm7l-0-57b73e75a41657a9c8174b23621e2ca7)
centos03节点的进程:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P59_6912.jpg?sign=1739369795-s7WRRsf2QJVRM6EbkstWssJTgiedgwit-0-56aca9caa4742c0bf1ca11ab34ac1105)
10. 测试HDFS
在centos01节点中执行以下命令,在HDFS根目录创建文件夹input,并将Hadoop安装目录下的文件README.txt上传到新建的input文件夹中:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P59_6913.jpg?sign=1739369795-pO6k1gg2HNLSiwcNeiPWtHXWS0JKhBa8-0-656d9972a62e56f527f9ed39a95c016b)
浏览器访问网址http://centos01:50070(需要在本地配置好域名IP映射,域名为NameNode所在节点的主机名,关于NameNode将在第4章进行详细讲解)可以查看HDFS的NameNode信息并浏览HDFS系统中的文件,如图3-9所示。
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P59_6894.jpg?sign=1739369795-1ewvSo2AKIGF633uuea9eoJLPJ3a4ufu-0-975e137dda149477af55cac189324460)
图3-9 HDFS Web主界面
11. 测试MapReduce
在centos01节点中执行以下命令,运行Hadoop自带的MapReduce单词计数程序,统计/input文件夹中的所有文件的单词数量:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P59_6916.jpg?sign=1739369795-9rHtau9KkorfUO9wE5TRvls57oDRpdKf-0-951cc88d1c312f6b7d1db79b8b8125a4)
统计完成后,执行以下命令,查看MapReduce执行结果:
![](https://epubservercos.yuewen.com/B7D09D/15825993105224906/epubprivate/OEBPS/Images/Figure-P60_6929.jpg?sign=1739369795-GqwulGkxBws4x4adCHL2gEBf1eqBMJWY-0-6a5ab18e0b2c9fd139505818a947b84d)
如果以上测试没有问题,则Hadoop集群搭建成功。
本书第4、5章将对HDFS和MapReduce做出详细讲解。