Hadoop的HDFS的集群安装部署

注意:主机名不要有/_等特殊的字符，不然后面会出问题.有问题可以看看第5点(问题)。

1个、下载

1.1、去官网，点下载

Https://hadoop.apache.org/：下载地址

1.2、选择下载的版本

1.2.1、最新版

1.2.2、其他版本，我这里选择3.3.4

1.3%、上传，解压

HDFS是主从模式，所以在节点1节点安装即可

1.3.1、上传安装包节点1节点

1.3.2、解压到/导出/服务器下

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

1.3.3、构建软链接

ln -s /export/server/hadoop-3.3.4 hadoop

2个、配置

配置HDFS集群，我们主要涉及到如下文件的修改：

• 工作者：配置从节点(数据节点)有哪些
• Hadoop-env.sh：配置hadoop的相关环境变量
• Core-site.xml：hadoop核心配置文件
• Hdfs-site.xml：hdfs核心配置文件

这些文件均存在与$HADOOP_HOME/etc/hadoop文件夹中。

进入等下的HADOOP目录

cd ./etc/hadoop

2.1、配置Worker文件

2.1.1、进入Hadoop目录

cd ./etc/hadoop

2.1.2、编辑Worker文件

vim workers

配置主机名
填入的BigData_node1，2，3是三台主机的名称
表明集群记录了三个从节点(数据节点)

2.2、配置hadoop-env.sh文件

vim hadoop-env.sh

# 填入如下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

• JAVA_HOME、指明jdk环境的位置在哪
• HADOOP_HOME，指明HADOOP安装位置
• Hadoop_conf_dir，指明hadoop配置文件目录位置
• Hadoop_LOG_DIR，指明Hadoop运行日志目录位置

2.3Site.xml、配置核心文件

vim core-site.xml

在文件内部填入如下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata_node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

• 密钥：fs.defaultFS
  含义：HDFS文件系统的网络通讯路径

• 值：hdfs：//节点1：8020
  协议为hdfs：//
  NameNode为大数据节点1
  命名节点通讯端口为8020.

• 密钥：io.file.Buffer.Size
  含义：IO操作文件缓冲区大小

• 值：131072位

HDFS：//Bigdata_node1：8020HdFS为整个内部的通讯地址，应用协议为hdfs：//(hadoop内置协议)。
表明数据节点将和节点1个的8020端口通讯，BigData_Node 1个是名称节点所在机器。
此配置固定了BigData_Node1必须启动NameNode进程。

2.4、配置hdfs-Site.xml文件

vim hdfs-site.xml

# 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>bigdata_node1,bigdata_node2,bigdata_node3</value>
  </property>
  
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

• 密钥：dfs.datanode.data.dir.perm
  含义：HDFS文件系统，默认创建的文件权限设置

• 值：700，即：RWX

• 密钥：dfs.namenode.name.dir
  含义：名称节点元数据的存储位置

• 值：/Data/nn，在BigData_node1节点的/Data/nn目录下

• 密钥：dfs.namenode.hosts
  含义：NameNode允许哪几个节点的数据节点连接(即允许加入集群)

• 值：BigData_node1、BigData_Node2、BigData_Node3这三台服务器被授权

• 密钥：dfs.block大小
  含义：HDFS默认块大小

• 值：268435456(256MB)

• 密钥：dfs.namenode.handler.count
  含义：名称节点处理的并发线程数

• 值：100，以100个并行度处理文件系统的管理任务

• 密钥：dfs.datanode.data.dir
  含义:从节点数据节点的数据存储目录

• 值：/即数据存放在/dn，数据bigdata_node1，bigdata_node2，bigdata_node3三台机器的/DATA/dn内
  

2.5、根据下述2个配置项：

• NameNode数据存放BigData_node1的/Data/nn
• 数据节点数据存放BigData_node1、BigData_node2、BigData_Node3的/DATA/DN

所以应该

• 在BigData_node1节点：
  Mkdir-p/data/nn
  Mkdir-p/data/dn
  

• 在BigData_node2和BigData_node3节点：
  Mkdir-p/data/dn
  

2.6HADOOP、分发文件夹

已经基本完成hadoop的配置操作，可以从BigData_node1将hadoop安装文件夹远程复制到Bigdata_node2、BigData_node3。

在BigData_node1执行如下命令

cd /export/server
scp -r hadoop-3.3.4 bigdata_node2:`pwd`/
scp -r hadoop-3.3.4 bigdata_node3:`pwd`/

2.7HADOOP、为配置软链接

2.7.1、在BigData_node2执行

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

2.7.2、在BigData_node3执行

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

2.8%、配置环境变量

2.8.1、添加配置

为了方便我们操作hadoop，可以将hadoop的一些脚本、程序配置到Path中，方便后续使用。

在hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序，现在来配置一下环境变量。

vim /etc/profile

在/ETC/配置文件文件底部追加如下内容

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.8.2、配置生效

source /etc/profile

三台服务器都要配置.

3、授权为Hadoop用户

Hadoop部署的准备工作基本完成。

为了确保安全，hadoop系统不以根用户启动，我们以普通用户hadoop来启动整个hadoop服务
所以，现在需要对文件权限进行授权.

PS：请确保已经提前创建好了hadoop用户，并配置好了hadoop用户之间的免密登录。

以根身份，在BigData节点1、BigData节点2、BigData节点3三台服务器上均执行如下命令

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

三台服务器都要.

4个、格式化，启动，访问

前期准备全部完成，现在对整个文件系统执行初始化.

4.1、格式化命名节点

确保以HADOOP用户执行

su hadoop

格式化命名节点

hadoop namenode -format

4.2、启动

一键启动HDFS集群

start-dfs.sh

一键关闭HDFS集群

stop-dfs.sh

如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh

4.3%、访问

• 在本地系统配置主机的文件，就可以直接使用域名访问。
  

• Http://bigdatanode1:9870、即可查看到HDFS文件系统的管理网页。
  
  

5个、问题

5.1、一键启动HDFS集群后，jps查看没有启动的服务

5.2、检查日志日志

java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:232)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:189)
	at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:169)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:766)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:792)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)
	at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:578)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser(NameNode.java:718)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:738)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1020)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:995)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1769)
	at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1834)
2023-09-11 00:28:53,873 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: bigdata_node1:8020

5.3%、问题原因

说是我主机与端口不对

5.3.1、ping端口号

ping bigdata_node1

5.3.2、说是端口号没放开

telnet bigdata_node1 8020

5.3.3、自己的真实原因

主机使用的主机名不合法，修改为不包含着‘.’‘/’‘_’等非法字符的主机名。

5.3.4、修改主机名，并把之前的配置的主机名全部改了

hostnamectl set-hostname bigdatanode1

vim /etc/hosts

vim workers

vim core-site.xml

vim hdfs-site.xml

5.4%、重启启动，成功

5.4.1、先格式化命名节点

hadoop namenode -format

5.4.2、再启动

结束！
HY：33

						为什么害怕独处？因为人在独处的时候，总是会听到心灵深处的声音。