【直播预告】DBA 会被云淘汰吗？

本文我们将讨论如何在操作系统级别验证 innodb_flush_method 和 innodb_use_fdatasync 修改为默认值之外的其它值（特别是 O_DIRECT 是最常用的）后的效果。

介绍

首先，让我们定义该 innodb_flush_method 参数的作用。它规定了 InnoDB 如何管理数据刷新到磁盘的行为。文章不会详细说明每个有效值的作用，更多详细介绍请查看参数值文档。

有效值如下（仅限 Unix）：

fsync
O_DSYNC
littlesync
nosync
O_DIRECT
O_DIRECT_NO_FSYNC

如前所述，我们将重点关注 O_DIRECT。作为最佳实践的一部分，我们建议选择 O_DIRECT 避免双缓冲，绕过操作系统缓存，从而提高写入数据时的性能。下面是从官方文档中摘录的 InnoDB 架构：

在支持 fdatasync() 的平台上执行系统调用（System calls，以下简称 Syscalls），MySQL 8.0.26 中引入的 innodb_use_fdatasync 变量允许使用 innodb_flush_method 选项来替代。除非后续数据检索需要，否则系统调用不会刷新对文件元数据的更改，从而提供潜在的性能优势。

要操作文件，MySQL 和任何其他软件都必须调用 Syscalls。每当进程需要系统资源时，它都会通过 Syscalls 向内核发送对该资源的请求。从较高层次来看，系统调用是内核向用户应用程序提供的“服务”。它们类似于库 API，被描述为具有名称、参数和返回值的函数调用。下图是此过程的高级说明：

问题：为什么不直接访问我们想要的资源（内存、磁盘等）？

这是因为 Linux 将进程的执行分为两个空间。用户运行的进程（一般称为用户空间进程）依赖于内核提供的服务。内核是操作系统的一个特定部分，它以特权运行模式处理各种低级操作。这里详细描述了用户空间和内核空间的概念。如果应用程序可以直接读写内核的地址空间，系统的安全性和稳定性就会受到影响。在给定的场景中，一个进程能够访问另一进程的内存区域。这表明内存隔离存在潜在问题，并可能导致安全漏洞。

问题：如何检查我的操作系统是否支持特定的 Syscalls？

$ man syscalls

它将列出可用的 Syscalls 以及其中出现的 Linux 内核。

验证

我们将使用 strace 实用程序和 /proc//fdinfo/ 中提供的信息来证明前面描述的理论。首先，我将使用默认设置启动一个 MySQL 8.0.33 实例。

mysqld 我们可以通过检查 /proc//fd/ 列出进程打开的文件：

$ ls -l /proc/12006/fd/
total 0
lr-x------. 1 vinicius.grippa percona 64 Jan 15 16:59 0 -> /dev/null
l-wx------. 1 vinicius.grippa percona 64 Jan 15 16:59 1 -> /home/vinicius.grippa/sandboxes/msb_8_0_33/data/msandbox.err
...
lrwx------. 1 vinicius.grippa percona 64 Jan 15 16:59 9 -> /home/vinicius.grippa/sandboxes/msb_8_0_33/data/#ib_16384_1.dblwr

我们可以通过运行这个命令，来检查每个文件描述符 cat /proc//fdinfo/：

$ cat /proc/12006/fdinfo/9
pos: 0
flags: 0100002
mnt_id: 69
lock: 1: POSIX ADVISORY WRITE 12006 fd:06:32640985 0 EOF

我们对八进制数表示的标志描述感兴趣。要解释这些标志，我们可以使用 GitHub 中的 fdflags 存储库或在 shell 中使用以下命令：

$ for flag in APPEND ASYNC CLOEXEC CREAT DIRECT DIRECTORY DSYNC EXCL LARGEFILE NOATIME NOCTTY NOFOLLOW NONBLOCK PATH RDWR SYNC TMPFILE TRUNC; do printf '%s: ' O_${flag}服务器托管网; echo O_${flag} | gcc -D_GNU_SOURCE -include fcntl.h -E - | tail -n 1; done

并使用 fdflags 项目来避免手动工作：

fdinfo_directory="/proc/46211/fdinfo/"
fd_directory="/proc/46211/fd/"
for fd in $(ls ${fdinfo_directory}); do
echo "Processing file descriptor ${fd}" &&
# Read the symbo服务器托管网lic link to find out the file name
file_name=$(readlink "${fd_directory}${fd}")
echo "File Name: $file_name"
./fdflags "${fdinfo_directory}${fd}"
done

# Output

Processing file descriptor 5
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest79.ibd
O_LARGEFILE
O_RDWR
...
Processing file descriptor 99
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest89.ibd
O_LARGEFILE
O_RDWR

输出显示文件描述符编号、文件名以及打开时应用于该文件的标志。

接下来，我们可以确认 MySQL 正在使用 strace 的 fsync() 来写入数据：

# Attaching strace to the mysqld process
$ strace -f -c -o ./strace.out -p

# Once you exit strace (CTRL+C), a summary of syscalls is written in the strace.out file
$ cat strace.out
% time   seconds usecs/call   calls  errors syscall
------ ----------- ----------- --------- --------- ----------------
45.38 222.980851    1158  192526   50579 futex
27.50 135.114996   134309   1006      io_getevents
5.90  28.997398   1933159    15    12 restart_syscall
5.69  27.970912   537902    52      nanosleep
5.32  26.117827     122  213323   2088 read
3.86  18.968682     172  109744      write
3.00  14.731474   1133190    13      epoll_wait
1.13  5.565184     574   9688      fsync
0.82  4.050227     134   30132      clock_gettime
0.61  2.974088     148   20089      pwrite64
0.47  2.311729     708   3264      fdatasync
...
0.00  0.000270     135     2      rename
0.00  0.000256     32     8      close
------ ----------- ----------- --------- --------- ----------------
100.00 491.324073        590620   52679 total

即使没有启用 innodb_use_fdatasync，您也会在 strace 输出中注意到 Syscalls。当 sync_binlog >0 时，系统调用默认被二进制日志使用。我们可以在 strace 中确认：

$ strace -f -s2048 -yy -o ./strace.out -p 
...
47252 fdatasync(70

建议：尝试设置 sync_binlog=0 并检查 fdatasync() 执行时，MySQL 是否仍然请求系统调用来获取二进制日志。

现在，我们将向 MySQL 添加以下设置并重新启动实例：

[mysqld]
innodb_flush_method=O_DIRECT
innodb_use_fdatasync = ON

再次检查，我们可以看到 O_DIRECT 文件中添加了一个新标志：

Processing file descriptor 96
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest112.ibd
O_LARGEFILE
O_RDWR
O_DIRECT
…
Processing file descriptor 99
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest94.ibd
O_LARGEFILE
O_RDWR
O_DIRECT

并使用 strace 检查，我们将使用以下命令看到我们的表文件（*.ibd）：

$ strace -f -s2048 -yy -o ./strace.out -p 20498
...
20551 fdatasync(48 
20551 fdatasync(26 
20550 fdatasync(34 
20550 fdatasync(24

结论

我们研究了 InnoDB 数据刷新机制的技术细微差别以及它们如何与操作系统交互。innodb_flush_method 我们可以通过调整参数和 .sql 文件 innodb_use_fdatasync 来了解优化 MySQL 性能的细节。

我们使用 strace 实用程序进行的实验以及检查文件描述符的实验 /proc//fdinfo/ 提供了调整这些设置时行为发生变化的具体证据。使用可以带来更高效的数据写入操作。此外，MySQL 8.0.26 中的引入及其在特定场景中的偏好说明了 MySQL 的不断发展，以利用特定的系统调用优势来提高性能。

更多技术文章，请访问：https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台，覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库，为开发和运维提供流程自动化能力，提升上线效率，提高数据质量。

SQLE 获取

类型	地址
版本库	https://github.com/actiontech/sqle
文档	https://actiontech.github.io/sqle-docs/
发布信息	https://github.com/actiontech/sqle/releases
数据审核插件开发文档	https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net

MySQL 8.0 引入 innodb_flush_method 等新参数的系统调用分析

介绍

问题：为什么不直接访问我们想要的资源（内存、磁盘等）？

问题：如何检查我的操作系统是否支持特定的 Syscalls？

验证

结论

关于 SQLE

SQLE 获取

服务器托管，北京服务器托管，服务器租用，机房机柜带宽租用