前言:
Hive是一个基于Hadoop的数据仓库工具,以一种类SQL的HQL语句操作Hadoop数据仓库(HDFS等)。所以本地windows安装前需要先搭建Hadoop。前面文章已经大概介绍了环境搭建和踩坑汇总,所以这里也依旧只是介绍基础的安装方法。因为关于Hive的安装,网上其实有很多文章,这里更多的是小北在安装过程中的遇到的各种坑的汇总以及解决方法。
环境:
- windows10
- hadoop2.7.7
3. mysql-connector-java-5.1.7-bin.jar
4. hive2.1.1
简易安装:
- Hadoop本地搭建,略过。
- Hive下载安装,环境变量配置,略过。
3. Hive config配置。
(1). 找到hive的conf下的以下四个文件再按下面方式修改。
- 创建目录。
(1). 先将mysql-connector-java-5.1.7-bin.jar文件移动到hive的lib中,如下。
(2). 现在hive根目录下创建一个my_hive再创建以下四个目录。
- 修改hive-env.sh
(1). 找到hive的conf下的hive-env.sh并添加以下几个配置。
- 修改hive-site.xml
(1). 找到hive的conf下的hive-site.xml。
(2). 修改以下几个选项。
hive.exec.local.scratchdir
${java.io.tmpdir}/${user.name}
Local scratch space for Hive jobs
hive.downloaded.resources.dir
E:/2setsoft/1dev/apache-hive-2.1.1/my_hive/resources_dir/${hive.session.id}_resources
Temporary local directory for added resources in the remote file system.
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8&createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore.
To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
root
Username to use against metastore database
javax.jdo.option.ConnectionPassword
root
password to use against metastore database
- 在Hadopp上创建HDFS目录
(1). 创建以下目录并授予777权限。
(2). 在hadoop控制台上查看。
8. 创建MySQL数据库
(1). 创建hive数据库,可以以命令或者navicat方式创建。create database if not exists hive default character set latin1;
- 启动 Hive metastore
(1). 安装完毕只需要启动一次,启动后Mysql的hive数据库会多出以下表格。
hive –service metastore
- 启动hive
(1). 如果配置了hive环境变量,如果没有则进入hive目录的bin文件下,输入hive。
(2). 启动成功没有报错,示例创建一张表格,输入以下HQL语句创建。create table stu(id int, name string)
(3). 进入hadoop的控制台就可以查看了。
- HQL几个常见命令hive
启动hive
show databases;
查看所有数据库
use default;
打开指定数据库
show tables;
根据指定的数据库下展示所有数据表
desc movie;
查看 movie表结构
create movie(id int, name string);
创建了一个有id和name两个字段的表格
quit;
退出hive
报错合集
- HiveConf of name hive.metastore.local does not exist
去除 hive.metastore.local true - Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 2.1.0在hive数据库的version添加一条记录,如下
- applying authorization policy on hive configuration: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D Beeline version 2.1.1 by Apache Hive打开hive-site.xml,找到hive.exec.local.scratchdir, 将带有system:的标识全部去掉,如下
- hadoop的web控制台文件系统,打开某个目录报错: Permission denied: user=dr.who, access=READ_EXECUTE, inode=”/tmp/hive/Administrator”:Administrator:supergroup:drwx——进入hadoop命令,输入hadoop fs -chmod 777 /tmp/hive
附
Default数据仓库默认位置:hdfs上的:/user/hive/warehouse路径下
hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
本文概要 自动驾驶技术是当今汽车行业的发展热点之一,但其也存在着许多争议。大家也可以从以下几个维度谈谈你对这项技术的看法。 🌟🌟🌟个人简介🌟🌟🌟 ☀️大家好!我是新人小白博主朦胧的雨梦,希望大家多多关照和支持😝😝😝 🌖大家一起努力,共同成长,相信我们都会遇到更…