Hive和JDBC
Hive
一、Hive的访问方式
- 连接虚拟机
- 准备工作
二、开始连接
三、测试连接
四、hive的终端优化
hive的连接有三种方式，分别是CLI连接、HiveServer2/beeline、web UI，这三种的方式远程连接Hive，但是这篇文章不会一一的介绍这三种方式，我只会着重讲Java采用JDBC的方式去连接Hive，这里我们先了解一下，hive的访问方式。
这里说的是版本号为hive2.3.7的访问方式
Hive
一、Hive的访问方式
Hive的访问方式主要分为两种，一种是本地模式，通常用于单机测
试，另一种是远程连接模式，比较常用。由于我们需要使用idea去
连接hive，所以这里讲的肯定是远程连接模式。
1
2
3
- 连接虚拟机
我们这里需要使用xshell来连接虚拟机，这里如果是MacBook系
统，可以使用其自带的终端使用ssh roo@【你的虚拟机的用户
名】去远程连接虚拟机，后续的操作主要是在idea中，win和mac
的区别不太大，所以这里着重介绍win 的操作方式。
1
2
3
4 - 准备工作
由于这个是2.3.7的版本，所以这个版本的远程连接是有一定区别
的，这里我们先去修改Hive-sete.xml文件
1
2javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.134.154:3306/hive
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
root
hive.metastore.schema.verification
false
hive.cli.print.current.db
true
hive.cli.print.header
true
hive.server2.thrift.port
10000
hive.server2.thrift.bind.host
192.168.134.154
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
由于这里的默认的端口号是10000，如果无法使用，那就需要去修改
hadoop中的core-site.xml文件，只需要添加两段话就可以了。
1
2
hadoop.proxyuser.用户组名.hosts
hadoop.proxyuser.用户组名.groups
1
2
3
4
5
6
7
8
9
注意这里并不是直接复制进去，对应的用户名需要更改一下。
重启Hadoop
hadoop的 重启就是先关闭在开启即可
./sbin/stop-all.sh
./abin/start-all.sh1
2
3
开启hiveserver2服务
hive –service metastore &
hive –service hiveserver2 &
1
2
这里开通以后我们检查一下是否开启。
netstat -natp|grep ${port}
1
二、开始连接
连接之前我们需要先安装好maven的包，添加一下hive的依赖，这里无需从官网获取，我直接放在下面，复制进去，自动安装即可。
org.apache.hive
hive-jdbc
${hive-version}
org.eclipse.jetty.aggregate
*
org.apache.hadoop
hadoop-common
${hadoop-version}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
注意，留意看，这里我把hive的版本号给留住了，自己修改一下即可。
三、测试连接
这里不说原理，代码讲解单独在一个文章中去详细的讲解，有需要可以关注我的hive专栏，里面会持续更新
直接上代码
import java.sql.*;
public class HiveJDBC {
public static void main(String[] args) throws ClassNotFoundException, SQLException {
Class.forName(“org.apache.hive.jdbc.HiveDriver”);
Connection conn = DriverManager.getConnection(“jdbc:hive2://master:10000/kayleigh”);
Statement stat = conn.createSta服务器托管网tement();
ResultSet rs = stat.executeQuery(“select * from students_buks_zj limit 10”);
while (rs.next()) {
int id = rs.getInt(1);
String name = rs.getString(2);
int age = rs.getInt(3);
String gender = rs.getString(4);
String clazz = rs.getString(5);
System.out.println(id + “,” + name + “,” + age + “,” + gender + “,” + clazz);
}
rs.close();
stat.close();
conn.close();
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
四、hive的终端优化
如果我们想在hive的终端看到当前的数据库名，还有在查询结果上面
到列名称，我们这里可以修改一下hive-site.xml文件
这个步骤可选可不选，这里直接把需要修改的放在下面了。
1
2
3
4
hive.cli.print.header
true
hive.resultset.use.unique.column.names
false
hive.cli.print.current.db
true
1
2
3
4
5
6
7
8
9
10
11
12
13
##五、 问题描述
如果出现了类似如下的报错：
org.apache.thrift.TApplicationException: Required field ‘client_protocol’ is unset! Struct:TOpenSessionReq(client_protocol:null)
1
很有可能就是项目中的hive-jdbc版本和服务器不一致的原因导致
服务器托管网的，这里我们需要更换这里的文件版本信息就可了。
这个问题初学者应该很容易就有，安装的过程一定要非常的小心
学习大数据除了努力之外，还需要非常细心，一个小小的问题可
能带来的问题都是致命的。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net
在我们日常生活中，经常会看到各式各样的大屏，其中有一部分是传统的数据大屏，如工业监控大屏、环保监测大屏等。这些大屏的主要作用是展示信息，让用户快速获取信息，避免用户在阅读时产生视觉疲劳。还有一部分是智能的可视化数据大屏，如智能家居、智慧城市、智慧园区等。 …
