消息中间件面试题:消息队列的优缺点,区别

  • 时间:2019-02-01 20:29 作者:jsbintask 来源:jsbintask 阅读:209
  • 扫一扫,手机访问
摘要:题目为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?消息中间件各种面试题:消息中间件面试题:消息丢失怎样办?消息中间件面试题:消息队列的优缺点,区别消息中间件面试题:消息中间件的高可用消息中间件面试题:如

题目

  • 为什么使用消息队列?
  • 消息队列有什么优点和缺点?
  • Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?

消息中间件各种面试题:
消息中间件面试题:消息丢失怎样办?
消息中间件面试题:消息队列的优缺点,区别
消息中间件面试题:消息中间件的高可用
消息中间件面试题:如何保证消息的顺序性
消息中间件面试题:如何保证消息不被重复消费
消息中间件面试题:如何处理消息队列的延时以及过期失效问题?消息队列满了以后该怎样解决?有几百万消息持续积压几小时呢?
消息中间件面试题:假如让你写一个消息队列,该如何进行架构设计?

面试题剖析

为什么使用消息队列

先说一下消息队列常见的使用场景吧,其实场景有很多,但是比较核心的有 3 个:解耦异步削峰

解耦

看这么个场景。A 系统发送数据到 BCD 三个系统,通过接口调用发送。假如 E 系统也要这个数据呢?那假如 C 系统现在不需要了呢?A 系统负责人几乎崩溃......

mq-1

在这个场景中,A 系统跟其它各种乱七八糟的系统严重耦合,A 系统产生一条比较关键的数据,很多系统都需要 A 系统将这个数据发送过来。A 系统要时时刻刻考虑 BCDE 四个系统假如挂了该咋办?要不要重发,要不要把消息存起来?头发都白了啊!

假如使用 MQ,A 系统产生一条数据,发送到 MQ 里面去,哪个系统需要数据自己去 MQ 里面消费。假如新系统需要数据,直接从 MQ 里消费就可;假如某个系统不需要这条数据了,就取消对 MQ 消息的消费就可。这样下来,A 系统压根儿不需要去考虑要给谁发送数据,不需要维护这个代码,也不需要考虑人家能否调用成功、失败超时等情况。

mq-2

总结:通过一个 MQ,Pub/Sub 发布订阅消息这么一个模型,A 系统就跟其它系统彻底解耦了。

面试技巧:你需要去考虑一下你负责的系统中能否有相似的场景,就是一个系统或者者一个板块,调用了多个系统或者者板块,互相之间的调用很复杂,维护起来很麻烦。但是其实这个调用是不需要直接同步调用接口的,假如用 MQ 给它异步化解耦,也是可以的,你就需要去考虑在你的项目里,是不是可以运用这个 MQ 去进行系统的解耦。在简历中表现出来这块东西,用 MQ 作解耦。

异步

再来看一个场景,A 系统接收一个请求,需要在自己本地写库,还需要在 BCD 三个系统写库,自己本地写库要 3ms,BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms,接近 1s,客户感觉搞个什么东西,慢死了慢死了。客户通过浏览器发起请求,等待个 1s,这几乎是不可接受的。

mq-3

一般互联网类的企业,对于客户直接的操作,一般要求是每个请求都必需在 200 ms 以内完成,对客户几乎是无感知的。

假如使用 MQ,那么 A 系统连续发送 3 条消息到 MQ 队列中,如果耗时 5ms,A 系统从接受一个请求到返回响应给客户,总时长是 3 + 5 = 8ms,对于客户而言,其实感觉上就是点个按钮,8ms 以后就直接返回了,爽!网站做得真好,真快!

mq-4

削峰

每天 0:00 到 12:00,A 系统风平浪静,每秒并发请求数量就 50 个。结果每次一到 12:00 ~ 13:00 ,每秒并发请求数量忽然会暴增到 5k+ 条。但是系统是直接基于 MySQL 的,大量的请求涌入 MySQL,每秒钟对 MySQL 执行约 5k 条 SQL。

一般的 MySQL,扛到每秒 2k 个请求就差不多了,假如每秒请求到 5k 的话,可能就直接把 MySQL 给打死了,导致系统崩溃,客户也就没法再使用系统了。

但是高峰期一过,到了下午的时候,就成了低峰期,可能也就 1w 的客户同时在网站上操作,每秒中的请求数量可能也就 50 个请求,对整个系统几乎没有任何的压力。

[图片上传失败...(image-6444f7-1548645188187)]

假如使用 MQ,每秒 5k 个请求写入 MQ,A 系统每秒钟最多解决 2k 个请求,由于 MySQL 每秒钟最多解决 2k 个。A 系统从 MQ 中慢慢拉取请求,每秒钟就拉取 2k 个请求,不要超过自己每秒能解决的最大请求数量就 ok,这样下来,哪怕是高峰期的时候,A 系统也绝对不会挂掉。而 MQ 每秒钟 5k 个请求进来,就 2k 个请求出去,结果就导致在中午高峰期(1 个小时),可能有几十万甚至几百万的请求积压在 MQ 中。

mq-6

这个短暂的高峰期积压是 ok 的,由于高峰期过了之后,每秒钟就 50 个请求进 MQ,但是 A 系统仍然会按照每秒 2k 个请求的速度在解决。所以说,只需高峰期一过,A 系统就会快速将积压的消息给处理掉。

消息队列有什么优缺点

优点上面已经说了,就是在特殊场景下有其对应的好处解耦异步削峰

缺点有以下几个:

  • 系统可用性降低

    系统引入的外部依赖越多,越容易挂掉。原本你就是 A 系统调用 BCD 三个系统的接口就好了,人 ABCD 四个系统好好的,没啥问题,你偏加个 MQ 进来,万一 MQ 挂了咋整,MQ 一挂,整套系统崩溃的,你不就完了?如何保证消息队列的高可用,可以点击这里查看。

  • 系统复杂度提高

    硬生生加个 MQ 进来,你怎样[保证消息没有重复消费]?怎样[解决消息丢失的情况]?怎样保证消息传递的顺序性?头大头大,问题一大堆,痛苦不已。

  • 一致性问题

    A 系统解决完了直接返回成功了,人都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那里,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不一致了。

所以消息队列实际是一种非常复杂的架构,你引入它有很多好处,但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉,做好之后,你会发现,妈呀,系统复杂度提升了一个数量级,也许是复杂了 10 倍。但是关键时刻,用,还是得用的。

Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点?

特性ActiveMQRabbitMQRocketMQKafka
单机吞吐量万级,比 RocketMQ、Kafka 低一个数量级同 ActiveMQ10 万级,支撑高吞吐10 万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、日志采集等场景
topic 数量对吞吐量的影响topic 可以达到几百/几千的级别,吞吐量会有较小幅度的下降,这是 RocketMQ 的一大优势,在同等机器下,可以支撑大量的 topictopic 从几十到几百个时候,吞吐量会大幅度下降,在同等机器下,Kafka 尽量保证 topic 数量不要过多,假如要支撑大规模的 topic,需要添加更多的机器资源
时效性ms 级微秒级,这是 RabbitMQ 的一大特点,推迟最低ms 级推迟在 ms 级以内
可用性高,基于主从架构实现高可用同 ActiveMQ非常高,分布式架构非常高,分布式,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用
消息可靠性有较低的概率丢失数据基本不丢经过参数优化配置,可以做到 0 丢失同 RocketMQ
功能支持MQ 领域的功能极其完备基于 erlang 开发,并发能力很强,性能极好,延时很低MQ 功能较为完善,还是分布式的,扩展性好功能较为简单,主要支持简单的 MQ 功能,在大数据领域的实时计算以及日志采集被大规模使用

综上,各种比照之后,有如下建议:

一般的业务系统要引入 MQ,最早大家都用 ActiveMQ,但是现在的确大家用的不多了,没经过大规模吞吐量场景的验证,社区也不是很活跃,所以大家还是算了吧,我个人不推荐用这个了;

后来大家开始用 RabbitMQ,但是的确 erlang 语言阻止了大量的 Java 工程师去深入研究和掌控它,对公司而言,几乎处于不可控的状态,但是的确人家是开源的,比较稳固的支持,活跃度也高;

不过现在的确越来越多的公司,会去用 RocketMQ,的确很不错(阿里出品),但社区可能有忽然黄掉的风险,对自己公司技术能力有绝对自信的,推荐用 RocketMQ,否则回去老老实实用 RabbitMQ 吧,人家有活跃的开源社区,绝对不会黄。

所以中小型公司,技术能力较为一般,技术挑战不是特别高,用 RabbitMQ 是不错的选择;大型公司,基础架构研发实力较强,用 RocketMQ 是很好的选择。假如是大数据领域的实时计算、日志采集等场景,用 Kafka 是业内标准的,绝对没问题,社区活跃度很高,绝对不会黄,何况几乎是全世界这个领域的事实性规范。

本文原创地址:https://jsbintask.cn/2019/01/28/interview/interview-middleware-jms/,转载请注明出处。

  • 全部评论(0)
最新发布的资讯信息
【系统环境|】WEB前端学习:JS实现中文简体繁体切换(2019-08-22 12:38)
【系统环境|服务器应用】前台开发入门到实战:HTML5语义化元素你真的用的正确吗?(2019-08-22 04:16)
【系统环境|服务器应用】Vue仿微信app页面跳转动画(2019-08-22 04:16)
【系统环境|服务器应用】webstorm使用快捷键快速修正单个文件的style(2019-08-22 04:16)
【系统环境|服务器应用】程序员从学生到阿里经历的5次蜕变:海阔凭鱼跃,天高任鸟飞(2019-08-22 04:16)
【系统环境|服务器应用】var、let、const的区别(2019-08-22 04:16)
【系统环境|服务器应用】mini-ui加载框Indicator 被遮挡问题(2019-08-22 04:15)
【系统环境|服务器应用】【对讲机的那点事】玩对讲机,对于对讲机的亚音你理解吗?(2019-08-22 04:15)
【系统环境|服务器应用】前台中高级面试,内功心法(上)(2019-08-22 04:15)
【系统环境|服务器应用】17、改进轮播图之功能封装(2019-08-22 04:15)
手机二维码手机访问领取大礼包
返回顶部