#yyds干货盘点#
要提前安装Hadoop
下载spark并在虚拟机解压，
- 解压到usr/local
- 文件夹重命名为 spark
- 给当前用户这个文件夹的权限
- 修改spark的配置文件 spark-env.sh[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YqQtOlO5-1603533615805)(en-resource://database/972:0)]
在第一行添加以下配置信息
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) - 运行spark自带的示例，验证知否安装成功[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b6ZCBu3I-1603533615808)(en-resource://database/974:0)]
spark安装成功 - 启动Spark shell
bin/spark-shell
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AAT3pbId-1603533615811)(en-resource://database/976:0)]
运行成功 - 简单shell操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OP5A3efm-1603533615814)(en-resource://database/978:0)] - 安装Scala
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tm3OvB6b-1603533615816)(en-resource://database/980:0)]
安装hive
- 下载压缩包并在虚拟机中解压
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5OytDidl-1603533615817)(en-resource://database/982:0)] - 重命名并修改文件权限
chown -R hadoop hive - 配置环境变量
在.bashrc中添加
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export HADOOP_HOME=/usr/local/hadoop- 修改hive中的配置文件
将hive-default.xml.template重命名为hive-default.xml；然后，使用vim编辑器新建一个配置文件hive-site.xml
在hive-site.xml中添加以下信息
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
hive
username to use against metastore database
javax.jdo.option.ConnectionPassword
hive
password to use against metastore database
- 安装并配置Mysql。下载Mysql jdbc包并把里面的jar包放到hive的lib中
- 启动Mysql服务，并登录shell界面
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B9UKhFAl-1603533615818)(en-resource://database/984:0)] - 配置mysql允许hive接入
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-h75in4A0-1603533615819)(en-resource://database/986:0)] - 启动hive
- 启动的时候遇到两个问题
1.一是一大堆报错然后中间有
java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument，
这是因为hive内依赖的guava.jar和hadoop内的版本不一致造成的。
- 关于hive异常：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStor，这是没有初始化数据库导致，执行名称初始化数据库即可。
schematool -dbType mysql -initSchema
- 解决这两个问题后就可以启动hive然后执行HiveQL操作
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LwmTCiVf-1603533615819)(en-resource://database/988:0)]
YX笔记链接（有图）
https://app.yinxiang.com/shard/s22/nl/23324337/e6319147-4c70-46dd-8ea9-2ffe9d3f4ea2
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net
相关推荐: 企业信息化战略与实施（一）-信息化和战略方法论1、信息与信息化的概念
1、信息与信息化的概念 1.1、信息的定义 信息，指音讯、消息、通讯系统传输方式和处理的对象，泛指人类社会传播的一切内容。人通过获得、识别自然界和社会的不同信息来区分不同事物，得以认识和改造世界。在一切通讯和控制系统中，信息是一种普遍性的联系。1948年，数学…
