四、openGauss存储引擎

openGauss整个系统设计支持多个存储引擎来满足不同场景的业务诉求。当前openGauss存储引擎有以下3种：
行存储引擎。主要面向OLTP（Online Transaction Processing，在线交易处理）场景设计，例如订货发货，银行交易系统。
列存储引擎。主要面向OLAP（Online Analytical Processing，联机分析处理）场景设计，例如数据统计报表分析。
内存引擎。主要面向极致性能场景设计，例如银行风控场景。

创建表的时候可以指定行存储引擎、列存引擎的表、内存引擎的表，支持一个事务里包含对3种引擎表的DML（Data Manipulation Language，
数据操作语言）操作，可以保证事务ACID性质。

1） storage源码组织
storage源码目录为：/src/gausskernel/storage。storage源码文件如表1所示。
表1 storage源码文件
storage         storage源码文件
access          基础行存储引擎方法cbtree、hash、heap、index、…
buffer          缓冲区
freespace       空闲空间管理
ipc             进程内交互
large_object    大对象处理
remote          远程读
replication     复制备份
smgr            存储管理
cmgr            公共缓存方法
cstore          列存储引擎
dfs             分布式文件系统
file            文件类
lmgr            锁管理
mot             内存引擎
page            数据页

行存储引擎的关键技术有：
基于CSN（Commit Sequence Number，待提交事务的序列号，它是一个64位递增无符号数）的MVCC并发控制机制，集中式垃圾数据清理。
并行刷日志，并行恢复。传统数据库一般都采用串行刷日志的设计，因为日志有顺序依赖关系，例如一个是事务产生的redo/undo log是有前后依赖关
    系的。openGauss的日志系统采用多个logwriter线程并行写的机制，充分发挥SSD的多通道IO能力。
基于大内存设计的Buffer manager。

列存储引擎有以下优势：
列的数据特征比较相似，适合压缩，压缩比很高。
当表列的个数比较多，但是访问的列个数比较少时，列存可以按需读取列数据，大大减少不必要的读IO，提高查询性能。
基于列批量数据Vector（向量）的运算，CPU的cache命中率比较高，性能比较好。列存储引擎更适合OLAP大数据统计分析的场景。

1） 列存储源码组织
列存储源码目录为：/src/gausskernel/storage/cstore。列存储源码文件如表2所示。

表2 列存储源码文件
cstore                 列存储源码文件
compression            数据压缩与解压
cstore_allocspace      空间分配
cstore_am              列存储公共API
cstore_***_func        支持函数
cstore_psort           列内排序
cu                     数据压缩单元
cucache_mgr            缓存管理器
custorage              持久化存储
cstore_delete          删除方法
cstore_update          更新方法
cstore_vector          缓冲区实现
cstore_rewrite         SQL重写
cstore_insert          插入方法
cstore_mem_alloc       内存分配

MOT与基于磁盘的普通表并排创建。MOT的有效设计实现了几乎完全的SQL覆盖，并且支持完整的数据库功能集，如存储过程和自定义函数。通过完全存、
储在内存中的数据和索引、非统一内存访问感知（NUMA-aware）设计、消除锁和锁存争用的算法以及查询原生编译，MOT可提供更快的数据访问和更高
效的事务执行。MOT有效的几乎无锁的设计和高度调优的实现，使其在多核服务器上实现了卓越的近线性吞吐量扩展。

MOT的高性能（查询和事务延迟）、高可扩展性（吞吐量和并发量）等特点，在某些情况下低成本（高资源利用率）方面拥有显著优势。
低延迟（Low Latency）：提供快速的查询和事务响应时间。
高吞吐量（High Throughput）：支持峰值和持续高用户并发。
高资源利用率（High Resource Utilization）：充分利用硬件。

MOT的关键技术如下：
内存优化数据结构：以实现高并发吞吐量和可预测的低延迟为目标，所有数据和索引都在内存中，不使用中间页缓冲区，并使用持续时间最短的锁。数
                据结构和所有算法都是专门为内存设计而优化的。
免锁事务管理：MOT在保证严格一致性和数据完整性的前提下，采用乐观的策略实现高并发和高吞吐。在事务过程中，MOT不会对正在更新的数据行的任
                何版本加锁，从而大大降低了一些大内存系统中的争用。
免锁索引：由于内存表的数据和索引完全存储在内存中，因此拥有一个高效的索引数据结构和算法非常重要。MOT索引机制基于领域前沿的树结构
                Masstree，一种用于多核系统的快速和可扩展的键值（Key Value，KV）存储索引，以B+树的Trie实现。通过这种方式，高并发
                工作负载在多核服务器上可以获得卓越的性能。同时MOT应用了各种先进的技术以优化性能，如优化锁方法、高速缓存感知和内存预取。
NUMA-aware的内存管理：MOT内存访问的设计支持非统一内存访问（NUMA，Non-Uniform Memory Access）感知。NUMA-aware算法增强了内存中
                数据布局的性能，使线程访问物理上连接到线程运行的核心的内存。这是由内存控制器处理的，不需要通过使用互连（如英特尔
                QPI（Quick Path Interconnect，快速路径互连））进行额外的跳转。MOT的智能内存控制模块，为各种内存对象预先分配了
                内存池，提高了性能、减少了锁、保证了稳定性。
高效持久性：日志和检查点是实现磁盘持久化的关键能力，也是ACID的关键要求之一。目前所有的磁盘（包括SSD和NVMe（Non-Volatile Memory 
                express，非易失性高速传输总线））都明显慢于内存，因此持久化是基于内存数据库引擎的瓶颈。作为一个基于内存的存储引擎，
                MOT的持久化设计必须实现各种各样的算法优化，以确保持久化的同时还能达到设计时的速度和吞吐量目标。
高SQL覆盖率和功能集：MOT通过扩展的openGauss外部数据封装（Foreign Data Wrapper，FDW）以及索引，几乎支持完整的SQL范围，包括存储过
                程、用户定义函数和系统函数调用。
使用PREPARE语句的查询原生编译：通过使用PREPARE客户端命令，可以以交互方式执行查询和事务语句。这些命令已被预编译成原生执行格式，也称
                为Code-Gen或即时（Just-in-Time，JIT）编译。这样可以实现平均30%的性能提升。
MOT和openGauss数据库的无缝集成：MOT是一个高性能的面向内存优化的存储引擎，已集成在openGauss软件包中。MOT的主内存引擎和基于磁盘的存
                储引擎并存，以支持多种应用场景，同时在内部重用数据库辅助服务，如WAL重做日志、复制、检查点和恢复高可用性等。

1） 内存引擎源码组织
内存引擎源码目录为：/src/gausskernel/storage/mot。内存引擎源码文件如表3所示。
表3 内存引擎源码文件
mot 内存引擎源码文件
concurrency_control              并发控制管理
infra                            辅助与配置函数
memory                           内存数据管理
storage                          持久化存储
system                           全局控制API
utils                            日志等通用方法