Hadoop客户端
一、Big Data Tools工具
-
Pycharm专业版下载Big Data Tools工具。
-
获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。
-
配置系统环境变量：E:hadoop-3.3.4
-
配置Big Data Tools，登录。
-- 如果需要走第二种路径配置登录, 需要修改etc/hadoop中的core-site.xml等文件。
二、HDFS NFS Gateway
HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其他系统挂载使用。
NFS网关支持NFSv3，并允许讲HDFS作为客户机本地文件系统的一部分挂载，现在支持：
-
上传，下载，删除，追加内容
''' 挂载使用，类似于在我的电脑生成的放置于云端的百度网盘。'''
配置NFS
配置HDFS需要配置如下内容：
- core-site.xml，新增配置项，以及hdfs-site.xml，新增配置项。
- 开启portmap，nfs3两个进程。
在node1进行如下操作
- 在core-site.xml内新增如下两项
hadoop.proxyuser.hadoop.groups
*
"""
允许hadoop用户代理任何其他用户组
"""
hadoop.proxyuser.hadoop.hosts
*
"""
允许代理任意服务器的请求
"""
-
在hdfs-site.xml中新增如下项
nfs.superuser hadoop """ NFS操作HDFS系统，所使用的超级用户（HDFS的启动用户为超级用户）。 """ nfs.dump.dir /tmp/.hdfs-nfs """ NFS接收数据上传时使用的临时目录。 """ nfs.exports.allowed.hosts 192.168.88.1 rw """ NFS允许连接的客户端IP和权限，rw表示读写，IP整体或者部分可以以*代替。 课程设置的允许192.168.88.1以rw连接 （这个IP是电脑虚拟网卡VMnet8的IP，连接虚拟机就是走的这个网卡） """ -
将配置好的文件分发到node2和node3上
scp core-site.xml hdfs-site.xml node2:`pwd`/ scp core-site.xml hdfs-site.xml node3:`pwd`/ -
重启Hadoop的HDFS集群
-
停止系统的NFS相关进程（必须root用户权限执行）
- systemctl stop nfs; systemctl disable nfs 关闭系统nfs
- yum remove -y rpcbind 卸载系统自带rpcbind
-
启动portmap(HDFS自带的rpcbind功能)（必须root用户权限执行）
hdfs --daemon start portmap -
启动nfs(HDFS自带的NFS功能)（必须以Hadoop用户执行）
hdfs --daemon start nfs3 -
验证是否成功：
在node2和node3执行：rpcinfo -p node1
出现mountd和nfs后
再输入：showmount -e node1
可以看到 /192.168.88.1即为成功
-
在cmd中输入：
# 注意空格 net use X: 192.168.88.101!
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
相关推荐: Hive执行计划之什么是hiveSQL向量化模式及优化详解
Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。 问题1：那么什么是hive向量化模式呢？ 问题2：hive向量化什么情况下可以被使用，或者说它有哪些使用场景呢？ 问题3：如何查看hive向量化使用的相关…
