15天学习MySQL计划（运维篇）分库分表-监控-第十四天 15天学习MySQL计划分库分表-监控-第十四天

Posted on by hackdl

15天学习MySQL计划分库分表-监控-第十四天

1.介绍

1.问题分析

​ 随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增加，若采用但数据进行数据存储，存在以下性能瓶颈：

  1. IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。
  2. CPU瓶颈：排序，分组，连接查询，聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

​ 分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。

2.拆分策略

1.垂直拆分

2.水平拆分

3.实现技术

  • shardingJDBC：基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析，改写，路由处理。需要自行编码配置实现，只支持java语句，性能较高。
  • MyCat：数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者。

2.mycat概述

1.简介

​ MyCat是开源的，活跃的，基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat，对于开发老根本感觉不到mycat的存在。

优势：

  • 性能可靠稳定
  • 强大的技术团队
  • 体系完善
  • 社区活跃
2.安装

​ mycat是采用Java语言开发的开源数据库中间件，支持windows和Linux运行环境，下面介绍mycat的Linux中的环境搭建。我们需要在准备好的服务器中安装如下软件。

  • MySQL
  • JDL
  • mycat
  1. 准备JDK二进制tar包
  2. 解压
  3. 设置环境变量
  4. java -version 测试
  5. 准备MyCat包
  6. 解压
  7. 将lib下的jar包进行替换与当前JDK相同的版本
3.mycat概念

3.mycat入门

​ 由于tb_order表中的数据量很大，磁盘IO及容量都达到了瓶颈，现在需要对tb_order表进行数据分片，分为三个数据节点，每一个节点主机位于不同的服务器上，具体的结构，参考下图：

1.部署环境

2.配置过程

  1. 在三个数据库创建三个相同的库名
  2. 创建一个用户
  3. 修改scheam配置文件
  4. 修改server文件
  5. 启动mycat文件
  6. 连接mycat服务
  7. 测试分表

3.分片数据库配置（scheam.xml）

[root@localhost bin]# vi /usr/local/mycat/conf/schema.xml

DOCTYPE mycat:schema SYSTEM "schema.dtd">
mycat:schema xmlns:mycat="http://io.mycat/">
        schema name="DB01" checkSQLschema="true" sqlMaxLimit="100">
                table name="TB_ORDER" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
        schema>

        dataNode name="dn1" dataHost="dhost1" database="test" />
        dataNode name="dn2" dataHost="dhost2" database="test" />
        dataNode name="dn3" dataHost="dhost3" database="test" />

        dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
                heartbeat>select user()heartbeat>

                writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
        dataHost>

        dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
                heartbeat>select user()heartbeat>

                writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
        dataHost>

        dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
                heartbeat>select user()heartbeat>

                writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
        dataHost>
mycat:schema>

4.分片用户配置（server.xml）

配置mycat的用户及用户的权限信息

[root@localhost bin]# vi /usr/local/mycat/conf/server.xml

                123456
                DB01

5.连接mycat测试

[root@localhost ~]# mysql -h192.168.2.1 -P8066 -uroot -p
mysql> use DB01;
mysql> CREATE TABLE TB_ORDER (
	id BIGINT(20) NOT NULL,
	title VARCHAR(100) NOT NULL ,
	PRIMARY KEY (id)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;


INSERT INTO TB_ORDER(id,title) VALUES(1,'goods1');
INSERT INTO TB_ORDER(id,title) VALUES(2,'goods2');
INSERT INTO TB_ORDER(id,title) VALUES(3,'goods3');
INSERT INTO TB_ORDER(id,title) VALUES(5000000,'goods5000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000000,'goods10000000');
INSERT INTO TB_ORDER(id,title) VALUES(10000001,'goods10000001');
INSERT INTO TB_ORDER(id,title) VALUES(15000000,'goods15000000');
INSERT INTO TB_ORDER(id,title) VALUES(15000001,'goods15000001');

4.mycat配置

1.schema.xml

​ schema.xml作为mycat中最重要的配置文件之一，涵盖了mycat的逻辑库，逻辑表，分片规则，分片某节点及数据源的配置。

​ 主要包含以下三组标签

  • schema标签
  • datanode标签
  • datahost标签
1.shcema标签

​ schema标签用于定义mycat实例中的逻辑库，一个mycat实例中，可以有多个逻辑库，可以通过scheam标签来进行划分。Mycat中的逻辑库的概念，等同于MySQL中的database概念，需要操作一个逻辑库下的表时，也需要切换逻辑库（use）

核心属性：

  • name：指定自定义的逻辑库库名
  • checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去除，false：不自动去除
  • sqlMaxlimit：如果未指定limit进行查询，列表查询模式查询多少条记录
2.schema标签（table）

​ table标签定义了mycat中逻辑schema下的逻辑表，所有需要拆分的表都需要在table标签中定义。

​ 核心属性：

  • name：定义逻辑表表名，在该逻辑库下唯一
  • dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个datanode逗号分割
  • rule：分片规则的名字，分片规则名字是在rule.xml中定义的
  • primaryKey：逻辑表对应真实表的主键
  • type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配置为global
3.datanode标签

​ datanode标签中定义了mycat中的数据节点，也就是我们通常说的数据分片。一个datanode标签就是一个独立的数据分片。

​ 核心属性：

  • name：定义数据节点名称
  • datahost：数据实例主机名称，引用自datahost标签中name属性
  • database：定义分片所属数据库
4.datahost标签

该标签在mycat逻辑库中作为底层标签存在，直接定义了具体的数据库实例，读写分离，心跳语句。

核心属性：

  • name：唯一标识，供上层标签使用
  • maxCon/minCon：最大连接数/最小连接数
  • balance：负载均衡策略，取值0，1，2，3
  • writetype：写操作分发方式（0：写操作转发到第一个writehost，第一个挂了就切换到第二个；1：写操作随机分发到配置的writehost上）
  • dbdriver：数据库驱动，支持native，jdbc

2.rule.xml

​ rule.xml中定义所有拆分表的规则，在使用过程中可以灵活的使用分片算法，或者对同一个分片算法使用不同的参数，它让分片过程可配置化。主要包含两类标签：tableTule，Function。

3.server.xml

​ server.xml配置文件包含了mycat的系统配置信息，主要有两个重要的标签：system，user、

1.system标签

​ 对应的系统配置项及其含义，参考资料

2.user标签

priviege权限设置字段：

​	dml='0000'=增 改 查 删
​	0为关闭，1为开启

5.mycat分片

1.垂直分表

​ 场景：

​ 在业务系统中，涉及以下表结构，但是由于用户与订单每天都会产生大量的数据，单台服务器的数据存储及处理能力是有限的，可以对数据库进行拆分，原有的数据库表如下。

流程：

  1. 分别在三台MySQL中创建数据库（shopping）
  2. 修改schema.xml
  3. 修改server.xml
  4. 测试：创建表，插入数据

schema.xml内容：


DOCTYPE mycat:schema SYSTEM "schema.dtd">
mycat:schema xmlns:mycat="http://io.mycat/">
	schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
	 table name="tb_goods_base" dataNode="dn1" primaryKey="id"/>
   table name="tb_goods_brand" dataNode="dn1" primaryKey="id"/>
   table name="tb_goods_cat" dataNode="dn1" primaryKey="id"/>
   table name="tb_goods_desc" dataNode="dn1" primaryKey="goods_id"/>
   table name="tb_goods_item" dataNode="dn1" primaryKey="id"/>
   
   table name="tb_order_item" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
   table name="tb_order_master" dataNode="dn1,dn2,dn3" primaryKey="order_id" type="global"/>
   table name="tb_order_pay_log" dataNode="dn2" primaryKey="out_trade_no"/>
   
   table name="tb_user" dataNode="dn3" primaryKey="id"/>
   table name="tb_user_address" dataNode="dn3" primaryKey="id"/>
   table name="tb_areas_provinces" dataNode="dn3" primaryKey="id"/>
   table name="tb_areas_city" dataNode="dn3" primaryKey="id"/>
   table name="tb_areas_region" dataNode="dn3" primaryKey="id"/>
	schema>
	
	dataNode name="dn1" dataHost="dhost1" database="shopping" />
	dataNode name="dn2" dataHost="dhost2" database="shopping" />
	dataNode name="dn3" dataHost="dhost3" database="shopping" />
	
	dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		heartbeat>select user()heartbeat>
		
		writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
	dataHost>
	
	dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		heartbeat>select user()heartbeat>
		
		writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
	dataHost>
	
	dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1"  slaveThreshold="100">
		heartbeat>select user()heartbeat>
		
		writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
	dataHost>
mycat:schema>

server.xml内容

user name="root" defaultAccount="true">
		property name="password">123456property>
		property name="schemas">SHOPPINGproperty>
user>

2.水平分表

​ 在业务系统中，有一张（日志表），业务系统每天都会产生大量的日志数据，单台服务器的数据存储及处理能力是有限的，可以对数据库表进行拆分。

​ 对tb_log表进行拆分

1.schema.xml配置
schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
    table name="tb_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long"/>
schema>

	dataNode name="dn4" dataHost="dhost1" database="itcast" />
	dataNode name="dn5" dataHost="dhost2" database="itcast" />
	dataNode name="dn6" dataHost="dhost3" database="itcast" />
2.server.xml的配置
user name="root" defaultAccount="true">
		property name="password">123456property>
		property name="schemas">SHOPPING,ITCASTproperty>
user>

6.分片规则

1.范围分片

​ 根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片

​ 自定义分片范围

2.取模分片

​ 根据指定的字段值与节点数量进行求模运算，根据运算结构，来决定该数据属于哪个分片。

​ 取模分片配置

3.一致性hash

​ 所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来的数据的分区位置。

​ 一致性hash配置

​ 通过在配置文件中配置可能的枚举值，指定数据分布到不同数据节点上，本规则适用于按照省份，性别，状态拆分数据等业务。

​ 枚举分片配置

5.应用指定算法

​ 运行阶段由应用自主决定路由到那个分片，直接根据字符字串（必须是数字）计算分片

​ 应用指定算法配置

6.固定hash算法

​ 该算法类似于十进制的求模运算，但是为二进制操作，例如，取id的二进制低10位与11111111111进行位&运算。

​ 固定hash算法配置

7.字符串hash解析

​ 截取字符串中的指定位置的子字符串，进行hash算法，算出存储分片位置。

8.按天分片

​ 按天来进行分片

9.按自然月分片

​ 使用场景为按照月份来分片，每个自然月为一个分片

7.mycat管理与监控

1.mycat原理

2.mycat管理

​ mycat默认开通2个端口，可以在server.xml中进行修改

  • 8066数据访问端口，即进行DML和DDL操作
  • 9066数据库管理端口，即mycat服务管理控制功能，用于管理mycat的整个集群状态
mysql -h 192.168.2.1 -P 9066 -uroot -p123455

常用命令：

命令 含义
show @@help 查看mycat管理工具帮助文档
show @@version 查看mycat的版本
reload @@config 重载加载mycat的配置文件
show @@datasource 查看mycat的数据源信息
show @@datanode 查看mycat现有的分片系节点信息
show @@threadpool 查看mycat的线程池信息
show @@sql 查看执行的SQL
show @@sql.sum 查看执行的SQL统计

8.mycat-eye

1.介绍

​ mycat-web（mycat-eye）是对mycat-server提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

​ mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

  1. zookeeper安装
  2. mycat-web安装
  3. web访问http://192.168.2.1:8082/mycat

2.添加设备测试即可

9.总结

1.分库分表介绍

​ 核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

​ mycat是一个开源的分库分表的中间件

3.mycat入门

​ 入门程序

4.mycat配置

​ schema.xml，rule.xml，server.xml

5.mycat分片

​ 分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

​ mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

  1. zookeeper安装
  2. mycat-web安装
  3. web访问http://192.168.2.1:8082/mycat

2.添加设备测试即可

9.总结

1.分库分表介绍

​ 核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

​ mycat是一个开源的分库分表的中间件

3.mycat入门

​ 入门程序

4.mycat配置

​ schema.xml，rule.xml，server.xml

5.mycat分片

​ 分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

​ 原理，管理，监控工具

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

相关推荐: .Net NPOI Excel 导出

NPOI 导出 Excel 最终效果图      环境：Revit，WPF，NPOI 2.5.6，.Net Framework 4.7.2 一、引用 NPOI  　　右击项目引用，选择 “管理NuGet程序包”，在浏览搜索 NPOI ，选择版本（我这里是2.5…

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用

服务器托管

咨询：董先生

电话13051898268 QQ/微信93663045！

上一篇:
下一篇: