Netty
- 1. MQ介绍
-
- 1.1 什么是MQ?为什么要用MQ?
- 1.2 MQ的优缺点
- 1.3 几大MQ产品特点比较
- 2. Rabbitmq安装
-
- 2.1 实验环境
- 2.2 版本选择
- 2.3 安装Erlang语言包
- 2.4 安装RabbitMQ:
- 3. RabbitMQ集群搭建
-
- 3.1 搭建普通集群
- 3.2 搭建镜像集群
- 3.3 RabbitMQ基础使用
本文是按照自己的理解进行笔记总结,如有不正确的地方,还望大佬多多指点纠正,勿喷。
课程内容:
1. MQ介绍
1.1 什么是MQ?为什么要用MQ?
MQ: MessageQueue,消息队列。队列,是一种FIFO先进先出的数据结构。消息由生产者发送到MQ进行排队,然后按原来的顺序交由消息的消费者进行处理。QQ和微信就是典型的MQ。
MQ的作用主要有以下三个方面:
- 异步
例子︰快递员发快递,直接到客户家效率会很低。引入菜鸟驿站后,快递员只需要把快递放到菜鸟驿站,就可以继续发其他快递去了。客户再按自己的时间安排去菜鸟驿站取快递。
作用:异步能提高系统的响应速度、吞吐量。 - 解耦
例子:《Thinking in JAVA》很经典,但是都是英文,我们看不懂,所以需要编辑社,将文章翻译成其他语言,这样就可以完成英语与其他语言的交流。
作用:
1、服务之间进行解耦,才可以减少服务之间的影响。提高系统整体的稳定性以及可扩展性。
2、另外,解耦后可以实现数据分发。生产者发送一个消息后,可以由一个或者多个消费者进行消费,并且消费者的增加或者减少对生产者没有影响。
- 削峰
例子:长江每年都会涨水,但是下游出水口的速度是基本稳定的,所以会涨水。引入三峡大坝后,可以把水储存起来,下游慢慢排水。
作用:以稳定的系统资源应对突发的流量冲击。
1.2 MQ的优缺点
上面MQ的所用也就是使用MQ的优点。但是引入MQ也是有他的缺点的:
-
系统可用性降低
系统引入的外部依赖增多,系统的稳定性就会变差。一旦MQ宕机,对业务会产生影响。这就需要考虑如何保证MQ的高可用。 -
系统复杂度提高
引入MQ后系统的复杂度会大大提高。以前服务之间可以进行同步的服务调用,引入MQ后,会变为异步调用,数据的链路就会变得更复杂并且还会带来其他一些问题。比如:如何保证消费不会丢失?不会被重复调用?怎么保证消息的顺序性等问题。 -
消息一致性问题
A系统处理完业务,通过MQ发送消息给B、C系统进行后续的业务处理。如果B系统处理成功,C系统处理失败怎么办?这就需要考虑如何保证消息数据处理的一致性。
1.3 几大MQ产品特点比较
常用的MQ产品包括Kafka、RabbitMQ和RocketMQ。我们对这三个产品做下简单的比较,重点需要理解他们的适用场景。
优点 | 缺点 | 使用场景 | |
---|---|---|---|
kafka | 吞吐量非常大,性能非常好,集群高可用。 | 会丢数据功能比较单 | 日志分析,大数据采集 |
Rabbit | 消息可靠性高,功能全面。 | 吞吐量比较低,消息积累会影响性能,erlang语言不好定制。 | 小规模场景 |
Rocket MQ | 高吞吐,高性能,高可用,功能全面。 | 开源版功能不如云上版,官方文档比较简单,客户端只支持java。 | 几乎全场景 |
另外,关于这三大产品更详细的比较,可以参见《kafka vs rabbitmq vs rocketmq.pdf》
关于RabbitMQ的功能特性,可以在官网( https://www.rabbitmq.com/)上看到,包含Asynchronous Message(异步消息)、DeveloperExperience(开发体验)、Distributed Deployment(分布式部署)、Enterprise & Cloud Ready(企业云部署)、Tools & Plugins(工具和插件)、Management & Monitoring(管理和监控)六大部分。所以其中的功能是相当丰富的,而我们肯定只能关注重点的部分内容,所以还是要经常到官网上去看看的。
2. Rabbitmq安装
2.1 实验环境
准备了三台虚拟机192.168.232.128~130,预备搭建三台机器的集群。
三台机器均预装CentOS7操作系统。分别配置机器名worker1,worker2,worker3。然后需要关闭防火墙(或者找到RabbitMQ的业务端口全部打开。5672(amqp端口);15672(http Api口);25672(集群通信端口))。
2.2 版本选择
RabbitMQ版本,通常与他的大的功能是有关系的。3.8.x版本主要是围绕Quorum Queue功能,而3.9.x版本主要是围绕Streams功能。目前还有3.10.x版本,还在rc阶段。我们这次选择3.9.15版本。
RabbitMQ是基于Erlang语言开发,所以安装前需要安装Erlang语言环境。需要注意下的是RabbitMQ与ErLang是有版本对应关系的3.9.15版本的RabbitMQ只支持23.2以上到24.3版本的Erlang。
Docker hub上也已经有官方上传的镜像
2.3 安装Erlang语言包
这个语言包,在windows下的安装比较简单,是一个可执行程序,直接图形化安装就行了。
Linux上的安装稍微复杂,需要有非常多的依赖包。简单起见,可以下载rabbitmq提供的zero dependency版本。下载地址https://github.com/rabbitmq/erlang-rpm/releases下载完成后,可以尝试使用下面的指令安装
2.4 安装RabbitMQ:
3. RabbitMQ集群搭建
3.1 搭建普通集群
3.2 搭建镜像集群
3.3 RabbitMQ基础使用
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
步骤如下 1.群晖需要配置开启MFS服务 2.Linux系统安装NFS服务 3.准备配置yum源 ##运行以下命令生成缓存 yum clean all yum makecache ##关闭防火墙 systemctl stop firewalld setenfo…