当我们使用关系型数据库时,SQL 是联系起用户和数据库的一座桥梁。
SQL 是一种高度非过程化的语言,当我们在编写SQL 时,表达的是想要什么数据,而不是怎么获取数据。因此,我们往往更关心SQL 有没有满足业务逻辑,比如返回结果、响应速度、DB 吞吐等,不太想关心SQL 有没有性能问题、索引如何创建、SQL 问题怎么快速定位等风险。同时,我们希望这部分能力可以通过自动化、智能化产品来解决。
上述情况也一直困扰着蚂蚁集团内部的业务,在探索解决方案的过程中,得益于蚂蚁业务场景对数据库稳定性、吞吐量的极致要求,孵化了一款覆盖SQL 生命周期的诊断优化产品—— SQLess。它服务于蚂蚁8000+用户、70+业务站点,被集成至30+业务平台,减少90% 的SQL 异常、提升80%故障恢复时效,保障了业务稳定性,是数据库的基础设施之一。
近日,SQLess 宣布开源,为蚂蚁集团之外的业务提供服务,包含SQL 防控体系、SQL 应急体系、SQL 优化体系三道防线。同时,SQLess 团队希望将蚂蚁集团内部沉淀的SQL 诊断优化经验与更多企业进行分享与交流。
SQLess 针对OceanBase 的SQL 优化实践
SQLess 开源后,成为了OceanBase 生态中的一员。SQLess 基于OceanBase 的Hint 机制,提供诊断优化、自愈限流、索引演进等能力。通过建立外部实时的流量检测,结合OceanBase 内部提供的统计信息,进行热点流量检测,用于智能识别热点行、锁冲突、热点账号、大小账号等细粒度SQL 问题。同时建立知识库体系,用于自动回归检测和算法学习。
整体线上自愈流程如下:
监控指标识别到异常 -> SQLess 找到根因SQL -> SQLess 提供诊断建议 -> 自愈执行诊断操作 -> 监控指标回归正常
针对增量SQL ,SQLess 结合蚂蚁的研发流程,提供SQL Review 能力,有效地将SQL 风险阻拦在上线之前。
同时,针对存量SQL ,SQLess 结合治理平台,提供治理意见和性能回馈,有效push 存量问题SQL 的治理。
SQLess 内部版与开源版区别
目前,SQLess 在蚂蚁集团的实践更偏向于运维视角,解决的核心问题是蚂蚁业务在OceanBase 上的SQL 稳定性。区别于内部版,SQLess 开源版更偏向于研发视角,帮助用户更高效地写出优雅且高性能的SQL ,让用户花更少时间关注SQL 风险,更专注于SQL 业务逻辑本身,提升业务研发效率和数据库稳定性,并且提供全方位的SQL 监控能力,帮助用户解决SQL 风险并提升业务性能。正如SQLess 愿景描述的那样,让用户写SQL 时可以更聚焦于实现业务逻辑,而不需要关注性能问题:Less on SQL tuning,More to SQL doing。
SQLess 适配各个研发阶段,将优化建议更加简单明了地告诉用户,追求通用性、可扩展性,可以接入不同的数据库引擎,用户也可以灵活配置或创建各个规则,用于适配自己的研发体系。
SQLess 开源版提供以下四个主要功能:
SQL 优化:支持索引优化、研发规范 ( PMD ) 扫描、Rewrite 改写建议。
SQL 审核:SQL Review 能力,可以集成在CICD pipeline 中。
SQL 分析:multi-SQL 维度的综合分析,可以基于Slow log 、各个云厂商流量接口等方式进行SQL 优化。
SQL 监控:实时态的TopSQL 分析,提供SQL 动态的实时监控,提供采样流水、执行计划、统计信息等辅助信息帮助用户找到问题SQL 、分析问题根因。
目前支持的数据库引擎包括OceanBase 3.x 版本和OceanBase 4.x 版本,以及MySQL 5.6 版本和MySQL 5.7 版本,未来还将支持更多数据库。
SQLess 架构设计及产品规划
为了更好地适配不同业务场景、扩展规则、支持更多的数据库引擎,SQLess 大部分组件都以插件化设计。
用户可以方便地使用规则或者自定义规则来适配自己的业务场景。
对于优化器,采用“前置规则->剪枝规则->RBO 规则->CBO 成本计算”架构,支持三个优化能力:
-
索引优化
-
研发规范扫描
-
SQL Rewrite 优化
对于解析器,使用插件化框架,支持不同解析任务。
-
SQL 解析,支持不同DB 引擎的接入,已支持OceanBase 、MySQL
-
文本解析:支持不同文本类型的接入,已支持MySQL 慢查询日志、SQL 流量文件
-
XML 解析:支持不同ORM 框架的接入,已支持MyBatis
规则引擎也使用插件化框架,支持各维度的规则沉淀:
-
RBO 规则
-
Rewrite 规则
-
研发规范
-
异常诊断(规划中)
-
根因分析(规划中)
目前,SQLess 团队大部分工作聚焦在规则场景沉淀、数据库引擎扩展、优化器扩展、ORM 框架扩展、多云产品接入等工作上。希望帮助用户更加简单、准确地解决各类SQL 问题,比如:
1. 规则场景沉淀,不断丰富SQL PMD /SQL Rewrite /异常诊断等规则。
2. 数据库引擎扩展,目前支持OceanBase3.x /4.x、MySQL 5.6 /5.7,后续计划将持续支持MySQL8.0 /PostgreSQL服务器托管网 /Oracle /TiDB /PolarDB 等数据库引擎。
3. 优化器扩展,目前支持Cost-Based Optimizer ,后续计划将持续支持AI-Based Optimizer 、Query-Based Workload Analysis 等更强大的优化器特性。
4. ORM框架扩展,目前只适配了MyBatis ,后续将持续支持GORM/Hibernate /SQLAlchemy 等ORM 框架。
5. 多云产品接入,持续支持多云产品的接入,类如OceanBase Cloud /Aliyun RDS /TiCloud 等。
6. 大模型结合的AIGC ,支持NL2SQL 、NL2DDL 、NL2 报表、SQL 优化、Schema 优化等。
除了建设更多SQL 能力外,SQLess 将提供轻量级的lib ,用于更好地接入如CICD 、SQL Console 、IDE 插件适用于SQL 优化和分析的产品。SQLess 也将持续加强与OceanBase 开源社区的融合,并支持MySQL 、PostgreSQL 等数据库,为更多数据库生态的用户提供服务,建设通用SQL 能力的开源生态。
参与开源项目共建
如果你对OceanBase 和SQLess 感兴趣,欢迎任何形式的参与,包括且不限于提问、代码贡献、技术讨论等。期待收到社区想法和反馈,以推动项目持续前进。
OceanBase 开源项目地址:
https://github.c服务器托管网om/oceanbase/sql-lifecycle-management
SQLess 开源项目地址:
https://github.com/oceanbase/sql-lifecycle-management
OceanBase 用户群:
钉钉群号:33254054
OB 小助手微信:OBCE666
SQLess 用户群:
钉钉群号:33920014194
官方人员微信:ztk1294604739
附SQLess 快速上手流程
第一步,执行环境,推荐版本python = v3.6.x ,依赖安装(后续将提供镜像)。
git clone https://github.com/oceanbase/sql-lifecycle-management.git
cd sql-lifecycle-management && make install
第二步,数据库初始化。
# 填写本地元数据库链接方式
cd sql-lifecycle-management && vim db.cfg
# 本地元数据库初始化
mysql -h host_ip -u user_name -p
source init/init.sql
第三步,访问页面(http://localhost:8989)
cd sql-lifecycle-management && sh ./start.sh
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
相关推荐: 什么是人工智能领域模型的 Presence Penalty 参数?
在人工智能领域中,模型的质量往往受到许多因素的影响,其中一个重要的因素是模型的 Presence Penalty 参数。Presence Penalty 可以被理解为一种正则化项,它被添加到模型的损失函数中,以惩罚模型对一些特定的特征或信息进行过多地关注。 在…