概述
对于网络服务器后端开发,为满足不同并发场景的需要,一般来说,不外乎几种常见的并发模型,除了一些教学场景常用的单线程、多进程(线程)的服务器实现外,生产用的服务器,一般都会考虑使用IO多路复用模型。
而常见的IO多路复用场景 ,可以设计得很简单,也可以设计得比较复杂,一般根据业务需要而定。本文总结了一些比较常见的服务器并发模型,基本涵盖了 大部分业务场景 。在实际业务开发的技术选型时,可根据场景,选取一款稳定、可靠的网络模型,还是十分关键的。
模型一: 单线程Accept(无IO复用 )
模型分析
- 主线程main thread执行阻塞accept, 每次客户端connect连接过来,main thread中accept响应并建立连接
- 创建连接成功,得到connect fd套接字后,依然在main thread串行处理套接字读写,并处理业务
- 在处理业务时,如果有新客户端connect过来,server无响应,直到当前socket全部业务处理完毕(结束while循环)
- 当前客户端处理完毕之后,关闭连接,处理下一个客户端请求
优缺点
优点
- socket编程流程清晰且简单,适合学习使用,了解socket基本编程流程
缺点
- 该模型并非并发模型 ,是串行服务器,同一时刻,监听并响应的最大网络请求量为1, 即并发量为1
- 仅适学习基本socket编程,不适合任何服务器server构建
模型二: 单线程 Accept + 多线程读写业务(无 IO 复用)
模型分析
- 主线程main thread阻塞在accept, 每次客户端 connect连接过来,main thread中accept响应并建立连接
- 创建连接成功,得到connect fd套接字后,创建一个新的线程thread来处理客户端的读写业务,mian thread依然回到accept阻塞等待新客户端
- thread通过套接字connect fd与客户端进行读写操作
- server在处理业务时,如果有新的客户端连接过来,main thread中accept依然可以响应并建立连接,重复上述过程
优缺点
优点
- 基于模型1的优化,支持了并发的特性
- 使用比较灵活,一个客户端对应一个线程单独处理,server处理业务的内聚性比较高, 客户端无论如何读写 ,服务端 均会有一个 线程做资源响应
缺点
- 随着客户端梳理增多,需要开辟的线程数量也增加了,和server线程的数量是1:1的关系,因此对于高并发场景,线程数量受到硬件的瓶颈,线程过多也会 增加CPU的切换成本,降低CPU利用率
- 对于长连接,客户端一旦无业务读写,只要不关闭,server就应该对保持这个连接的状态(心跳检查,健康检查机制),占用连接资源和线程的开销
- 仅适合客户端数量不大的场景,且可控的场景来使用
- 该模型仅适合学习基本的socket编程,不适合做并发服务器
模型三: 单线程多路IO复用
模型分析
- 主线程main thread创建listen fd之后,采用多路IO复用机制(如select、epoll)进行IO状态阻塞监控,有client连接请求,IO 复用机制检测到listen fd触发读事件,则进行accept建立连接,并将新生成的connect fd加入到监听IO集合中
- client再次进行正常读写业务请求,main thread的多路IO复用机制阻塞返回,会触发该套接字 的读写事件等
- 对于client的读写业务,server依然在main thread执行流程继续执行 ,此时如果有新的客户端connect请求过来,server将没有即时响应
- 等到server处理完一个连接的读写操作,继续回到多路IO复用机制阻塞,其他连接过来才可以正常执行
优缺点
优点
- 单流程体解决了可以同时监听多个客户端读写状态模型,不需要1:1客户端的线程数量关系
- 多路IO复用机制 是阻塞的,非忙轮询的状态,不会浪费CPU资源,对CPU的利用率较高
- 对于连接数较多,但是并发不大的场景,或对实时性没有特别严格的场景,该模型已经足够使用
缺点
- 虽然可以监听读个客户端的读写状态,但是同一时间内,只能够处理一个客户端的读写操作,实际上读写业务并发为1
- 当多个客户端访问server,业务是串行执行,大量请求的会有排队延迟现象。
模型四:单线程多路IO复用 + 多线程读写业务 (业务工作池)
模型分析
- 主线程main thread 创建listen fd后,采用多路IO复用机制(如select、epoll)进行IO状态阻塞监控,有client客户端connect请求 ,IO复用机制检测到listenfd触发读事件,则进行accept建立连接,并将新生成的connect fd加入到监听IO集合中
- 当connect fd有 可读消息,触发读时间,并进行读写消息
- main thread按照固定协议读取消息,并且交给worker pool工作线程池,工作线程池在server启动之前就已经开启固定数量的thread,里面的线程只处理消息 业务,不进行套接字读写操作
- 工作池处理完业务,触发connect fd写事件,将回执客户端的消息通过main thread写给对方
- 即:main thread只处理IO阻塞监听以及具体的读写操作,读写到的数据交给具体的线程池处理,让main thread专注于处理IO事件
- 类似于Redis的处理机制
优缺点
优点
- 将业务处理的部分,通过工作池分离出来,能够减少客户端访问server导致业务串行执行会有大量请求排队的延迟时间
- 实际上读写的业务并发为1,但是业务流程的并发为线程池数量,加快了业务处理的并行效率
缺点
- 读写依然是main thread单独处理,最高的读写并行通道依然是1
- 虽然多个worker thread处理业务,最后返回给client依旧也需要排队,因为出口还是main thread的一个通道
模型五:单线程IO复用 + 多线程IO复用
模型分析
- server在 启动监听前,开辟固定数量 (N)的 线程,用thread poll线程池管理
- 主线程main thread创建listen fd之后,采用IO多路复用机制(如select、epoll)进行IO状态阻塞监控 ,有 client 连接请求,IO复用机制 检测到listen fd触发读事件,则进行accept建立连接 ,并将新生成的connect fd分发给thread pool中的某个线程进行监听
- thread pool中的每个thread都启动IO多路复用机制 ,用来监听main thread建立成功并且分发下来的connect fd的读写事件,处理对应的读写业务,并将处理完的结果通过该thread自己的IO多路复用机制回执给客户端
优缺点
优点
- 将之前的main thread单流程的读写,分散到多线程来完成,这样就增加了同一时刻 读写的并行通道,并行通道的数量N,N 就是线程池的数量
- server同时监听connect fd的数量,几乎是成倍增加,之前的全部监控数量取决于main thread的多路IO复用机制的最大限制,所以理论上单点server最高响应并发数量应该是之前的N倍(N是 线程池数量,建议线程数量和 CPU核心数1:1)
- 如果良好的 线程池数量可CPU核心数适配,那么可以尝试将CPU 与thread绑定,从而降低CPU的切换频率,提高每个thread处理合理业务的效率,降低CPU的切换成本
- memchached的并发模型与该模型比较类似
缺点
- 虽然监听的并发数量提升,但是最高的读写并行通道依然为N,并且多个身处于同一个thread的客户端,会出现读写排队现象,实际上每个thread模型与单线程IO多路复用机制是一致的
模型六: 单进程IO 复用 + 多进程IO复用
模型分析
- 与单线程IO复用+ 多线程IO 复用(线程池)无太大差异
-
不同点
- 进程和线程的内存布局不同,导致main process(主进程)不再进行accept操作,而是将accept过分散到各个子进程中
- 进程的特性,资源独立,所以main process如果accept成功的fd,其他进程无法资源共享,所以需要各个进程自行accept创建连接
- main process 只是监听listen fd的状态,一旦触发读事件(有新连接请求),通过一些IPC (进程间通信,如信号、共享内存、管道等),让各自子进程process竞争accpet完成连接建立,并各自监听
优缺点
- 与单线程IO复用+ 多线程IO 复用(线程池)无太大差异
-
不同点:
- 多进程内存资源空间占用稍微大一些
- 多进程模型安全稳定性较强,这也是各自进程互不干扰的特点导致
- 实际上每个子进程process都是一个单线程IO多路复用模型
模型七: 单线程IO复用+ 多线程IO复用+ 多线程
模型分析
- server在启动监听之前,开辟固定数量(N)的线程,用thread pool线程池管理
- 主线程main thread创建listen fd之后,采用IO多路复用机制(如select、epoll)进行IO状态阻塞监控 ,有 client 连接请求,IO复用机制 检测到listen fd触发读事件,则进行accept建立连接 ,并将新生成的connect fd分发给thread pool中的某个线程进行监听
- thread pool中的每个thread都启动IO多路复用机制 ,用来监听main thread建立成功并且分发下来的connect fd的读写事件,一旦有某个connect fd的读写事件被触发,立即开辟一个新的 线程开处理IO读写业务
- 当某个线程处理完当前的读写业务,如果当前connect fd没有被关闭,那么将当前fd重新加回到thread pool的IO复用集合,并将自身线程销毁
优缺点
优点
- 除了能够保证同时响应最高的并发数,又能够解决读写并行通道的局限问题
- 同一时刻读写并行通道,达到最大化极限,一个客户端可以对应一个单独的执行流程处理读写业务
缺点
- 该模型过于理想化,要求CPU核心数足够大
- 如果硬件CPU数量有限,那么该模型就造成大量CPU切换的成本浪费。
- 实际开发中,几乎用不到如此复杂的网络模型,当前流行的开源网络组件中,也没有哪一款软件做到了如此复杂的程度
本专栏知识点是通过的系统学习,进行梳理总结写下文章,对C/C++课程感兴趣的读者,可以点击链接,查看详细的服务:C/C++Linux服务器开发/高级架构师
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net