Hadoop集群部署和启动与关闭

Posted on by hackdl

  Hadoop集群的部署方式分为三种，分别是独立模式（Standalone mode）、伪分布式模式（Pseudo-Distributed mode）和完全分布式模式（Cluster mode），独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。
为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务。

首先我们先规划三台虚拟机的Hadoop高可用集群：
  为了提高Hadoop集群的高可用性，集群中至少需要两个NameNode节点（一个主节点，一个备用节点）和两个ResourceManager节点 (一个主节点，一个备用节点)以满足HDFS和YARN的高可用性，同时为了满足“过半写入则成功”的原则，集群中至少需要三个 JournalNode节点。如下图所示：

高可用相关服务介绍作用如下：

  1. ZKFC（ZKFailoverController）
    ZooKeeper的客户端，用于监视和管理NameNode的状态，运行NameNode的每台机器都需要运行ZKFC。

  2. ZooKeeper
    表示ZooKeeper服务。

  3. JournalNode
    负责两个NameNode之间通信，JournalNode通常在DataNode节点启动。

  4. NodeManager
    执行应用程序的容器，监控应用程序的资源使用情况并且向调度器ResourceManager汇报。

  5. ResourceManager
    负责集群中所有资源的统一管理和分配，它接收来自NodeManager的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序。

  6. DataNode
    存储真实的数据文件，周期性向NameNode汇报心跳和数据块信息。

  7. NameNode
    存储元数据信息以及数据文件与数据块的对应信息。

一、安装Hadoop

  1. 访问Apache资源网站下载Linux操作系统的Hadoop安装包hadoop-2.7.4.tar.gz。

  2. 使用SecureCRT远程连接工具连接虚拟机Spark01，在存放应用安装包的目录/export/software/下执行“rz”命令上传Hadoop安装包。
    在虚拟机Spark01中，通过解压缩的方式安装Hadoop，将Hadoop安装到存放应用的目录/export/servers/。命令如下：
    tar -zxvf /export/software/hadoop-2.7.4.tar.gz -C /export/servers/

  3. 配置环境变量
    执行“vi /etc/profile”命令编辑系统环境变量文件profile，配置Hadoop环境变量,如下：

# Hadoop系统环境变量
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  完成系统环境变量文件profile配置后保存退出，不过此时配置内容尚未生效，还需要执行“source /etc/profile”命令初始化系统环境变量使配置内容生效。

  1. 测试
    执行“hadoop version”命令查看Hadoop版本

二、Hadoop高可用集群配置
  安装好Hadoop后，只读默认配置文件，包括core-default.xml、hdfs-default.xml、mapred-default.xml和yarn-default.xml，这些文件包含了Hadoop系统各种默认配置参数，位于jar文件中。

  自定义配置文件，这些文件基本没有任何配置内容，存在于Hadoop安装目录下的etc/hadoop/目录中，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等，开发人员可以根据实际需求进行修改，Hadoop会优先选择自定义配置文件中的参数。

  1. 修改hadoop-env.sh文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hadoop-env.sh”命令编辑hadoop-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示：
  2. 修改yarn-env.sh文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi yarn-env.sh”命令编辑yarn-env.sh文件，将文件内默认的JAVA_HOME参数修改为本地安装JDK的路径。如下图所示：
  3. 修改core-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi core-site.xml”命令编辑Hadoop的核心配置文件core-site.xml。如下：

    fs.defaultFS #配置命名空间管理服务制定通信地址
    hdfs://master


    hadoop.tmp.dir #存储临时文件的目录
    /export/servers/hadoop-2.7.4/tmp


    ha.zookeeper.quorum #ZooKeeper集群地址
    spark01:2181,spark02:2181,spark03:2181
  1. 修改hdfs-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi hdfs-site.xml”命令编辑HDFS的核心配置文件hdfs-site.xml。

    dfs.replication #HDFS副本数
    3


    dfs.namenode.name.dir #NameNode 节点数据（即元数据）的存放位置
    /export/data/hadoop/namenode

    
    dfs.datanode.data.dir    #DataNode 节点数据（即数据块）的存放位置
    /export/data/hadoop/datanode    


    dfs.nameservices #处理外部访问HDFS的请求
    master


    dfs.ha.namenodes.master #定义每个NameNode节点的唯一标识符
    nn1,nn2


    dfs.namenode.rpc-address.master.nn1 #标识符nn1的RPC服务地址
    spark01:9000


    dfs.namenode.rpc-address.master.nn2 #标识符nn2的RPC服务地址
    spark02:9000


    dfs.namenode.http-address.master.nn1#标识符nn1的HTTP服务地址
    spark01:50070


    dfs.namenode.http-address.master.nn2#标识符nn2的HTTP服务地址
    spark02:50070


  dfs.namenode.shared.edits.dir#NameNode元数据在JournalNode上的共享存储目录
  qjournal://spark01:8485;spark02:8485;spark03:8485/master


    dfs.journalnode.edits.dir#JournalNode存放数据地址
    /export/data/hadoop/journaldata


  dfs.client.failover.proxy.provider.master#访问代理类，用于确定当前处于 Active 状态的 NameNode节点
  org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider


    dfs.ha.fencing.methods#配置隔离机制，确保集群中只有一个NameNode处于活动状态
    
        sshfence
        shell(/bin/true)
    


    dfs.ha.fencing.ssh.private-key-files#sshfence隔离机制需要配置本机密钥地址
    /root/.ssh/id_rsa


    dfs.ha.automatic-failover.enabled#开启自动故障状态切换
    true
 

	dfs.ha.fencing.ssh.connect-timeout#sshfence隔离机制超时时间
	30000

 
	dfs.webhdfs.enabled #开启webhdfs服务
	true
  1. 修改mapred-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“cp mapred-site.xml.template mapred-site.xml”命令，通过复制模板文件方式创建MapReduce
    的核心配置文件mapred-site.xml，执行“vi mapred-site.xml”命令编辑配置文件
    mapred-site.xml ，指定MapReduce运行时框架。如下：

      mapreduce.framework.name#指定MapReduce 作业运行在 YARN框架之上
      yarn
  1. 修改yarn-site.xml文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“cp yarn-site.xml”命令，编辑YARN的核心配置文件yarn-site.xml。如下：

    yarn.nodemanager.aux-services#配置NodeManager上运行的附属服务，需要配置为mapreduce_shuffle
    mapreduce_shuffle


    yarn.resourcemanager.ha.enabled#开启ResourceManager的HA机制
    true


    yarn.resourcemanager.cluster-id#自定义ResourceManager集群的标识符
    yarncluster


    yarn.resourcemanager.ha.rm-ids#自定义集群中每个ResourceManager节点的唯一标识符
    rm1,rm2


    yarn.resourcemanager.hostname.rm1#指定标识符rm1的ResourceManager节点
    spark01


    yarn.resourcemanager.hostname.rm2#指定标识符rm2的ResourceManager节点
    spark02


    yarn.resourcemanager.zk-address#ZooKeeper集群地址
    spark01:2181,spark02:2181,spark03:2181


    yarn.resourcemanager.recovery.enabled#开启自动恢复功能
    true


      yarn.resourcemanager.ha.automatic-failover.enabled#开启故障自动转移
      true


    yarn.resourcemanager.store.class#ResourceManager存储信息的方式，在HA机制下用ZooKeeper（ZKRMStateStore）作为存储介质
    org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore


    yarn.log-aggregation-enable#开启YARN日志
    true
  1. 修改slaves文件
      在虚拟机Spark01中，进入Hadoop安装包的/etc/hadoop/目录，执行“vi slaves”命令，编辑记录Hadoop集群所有DataNode节点和NodeManager节点主机名的文件slaves。如下：
spark01
spark02
spark03
  1. 配置Hadoop环境变量
      在虚拟机Spark01中，执行“vi /etc/profile”命令编辑系统环境变量文件profile，
    配置Hadoop系统环境变量。如下：
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

系统环境变量文件profile配置完成后保存并退出即可，随后执行“source /etc/profile”命令初始化系统环境变量使配置内容生效。

  1. 分发文件
      为了便于快速配置Hadoop集群中其他服务器，将虚拟机Spark01中的Hadoop安装目录和系统环境变量文件分发到虚拟机Spark02和Spark03。如下：
#将Hadoop安装目录分发到虚拟机Spark02和Spark03
$ scp -r /export/servers/hadoop-2.7.4/ root@spark02:/export/servers/
$ scp -r /export/servers/hadoop-2.7.4/ root@spark03:/export/servers/
#将系统环境变量文件分发到虚拟机Spark02和Spark03
$ scp /etc/profile root@spark02:/etc/
$ scp /etc/profile root@spark03:/etc/

完成分发操作，分别在虚拟机Spark02和Spark03中执行“source /etc/profile”命令初始化系统环境变量。

  1. 验证Hadoop环境
      在虚拟机Spark01中，执行“hadoop version”命令查看当前系统环境的Hadoop版本。如下图所示：

三、启动Hadoop高可用集群配置

  1. 启动ZooKeeper
      分别在虚拟机Spark01、Spark02和Spark03中执行“zkServer.sh start”命令启动每台虚拟机的ZooKeeper服务。

  2. 启动JournalNode
      分别在虚拟机Spark01、Spark02和Spark03中执行“hadoop-daemon.sh start journalnode”命令启动每台虚拟机的JournalNode服务。如下图所示：


  3. 初始化NameNode（仅初次启动执行）
      在Hadoop集群主节点虚拟机Spark01执行“hdfs namenode -format”命令初始化NameNode操作。如下图所示：

  4. 初始化ZooKeeper（仅初次启动执行）
      在NameNode主节点虚拟机Spark01，执行“hdfs zkfc -formatZK”命令初始化ZooKeeper 中的 HA 状态。

  5. NameNode同步（仅初次启动执行）
      在虚拟机Spark01中的NameNode主节点执行初始化命令后，需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点（虚拟机Spark02）上，确保主节点和备用节点的NameNode数据一致。命令如下：
    scp -r /export/data/hadoop/namenode/ root@spark02:/export/data/hadoop/

  6. 启动HDFS
      在虚拟机Spark01中通过执行一键启动脚本命令“start-dfs.sh”，启动Hadoop集群的HDFS，此时虚拟机Spark01和Spark02上的NameNode和ZKFC以及虚拟机Spark01、Spark02和Spark03上的DataNode都会被启动。

  7. 启动YARN
      在虚拟机Spark01中通过执行一键启动脚本命令“start-yarn.sh”，启动Hadoop集群的YARN，此时虚拟机Spark01上的ResourceManager以及虚拟机Spark01、Spark02和Spark03上的NodeManager都会被启动，不过虚拟机Spark02上的ResourceManager备用节点需要在虚拟机Spark02上执行“yarn-daemon.sh start resourcemanager”命令单独启动。

  8. 查看集群
      分别在三台虚拟机Spark01、Spark02和Spark03上执行“jps”命令查看Hadoop高可用集群相关进程是否成功启动。


四、关闭Hadoop高可用集群

  1. 在虚拟机Spark02执行“yarn-daemon.sh stop resourcemanager”命令，关闭ResourceManager备用节点。
  2. 在虚拟机Spark02执行“stop-yarn.sh”命令，关闭YARN。
  3. 在虚拟机Spark02执行“stop-dfs.sh”命令，关闭HDFS。
  4. 分别在虚拟机Spark01、Spark02和Spark03执行“hadoop-daemon.sh stop journalnode”命令，关闭JournalNode。

好了，Hadoop的集群部署我们就讲到这里了，下一篇我们将讲解Spark集群部署

转载自：https://blog.csdn.net/u014727709/article/details/130915938
欢迎start，欢迎评论，欢迎指正

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: 学会 IDEA 远程 Debug ，直接线上秀操作

有时候我们需要进行远程的debug，本文研究如何进行远程debug，以及使用 IDEA 远程debug的过程中的细节。看完可以解决你的一些疑惑。 配置 远程debug的服务，以springboot微服务为例。 首先，启动springboot需要加上特定的参数。…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: