关于MQ的几件小事（六）消息积压在消息队列里怎么办

SwordFly 发布于2019-05-23 17:32 / 790人阅读

摘要：紧接着征用倍的机器来部署，每一批消费一个临时的消息。这种做法相当于临时将资源和资源扩大倍，以正常速度的倍来消费消息。解决方案这种情况下，实际上没有什么消息挤压，而是丢了大量的消息。

1.大量消息在mq里积压了几个小时了还没解决

场景： 几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消费速度，然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条，一秒3个消费者是3000条，一分钟是18万条，1000多万条。所以如果你积压了几百万到上千万的数据，即使消费者恢复了，也需要大概1小时的时间才能恢复过来。
解决方案：
这种时候只能操作临时扩容，以更快的速度去消费数据了。具体操作步骤和思路如下：
①先修复consumer的问题，确保其恢复消费速度，然后将现有consumer都停掉。

②临时建立好原先10倍或者20倍的queue数量(新建一个topic，partition是原来的10倍)。

③然后写一个临时分发消息的consumer程序，这个程序部署上去消费积压的消息，消费之后不做耗时处理，直接均匀轮询写入临时建好分10数量的queue里面。

④紧接着征用10倍的机器来部署consumer，每一批consumer消费一个临时queue的消息。

⑤这种做法相当于临时将queue资源和consumer资源扩大10倍，以正常速度的10倍来消费消息。

⑥等快速消费完了之后，恢复原来的部署架构，重新用原来的consumer机器来消费消息。

2.消息设置了过期时间，过期就丢了怎么办

假设你用的是rabbitmq，rabbitmq是可以设置过期时间的，就是TTL，如果消息在queue中积压超过一定的时间就会被rabbitmq给清理掉，这个数据就没了。那这就是第二个坑了。这就不是说数据会大量积压在mq里，而是大量的数据会直接搞丢。
解决方案：
这种情况下，实际上没有什么消息挤压，而是丢了大量的消息。所以第一种增加consumer肯定不适用。这种情况可以采取 “批量重导” 的方案来进行解决。在流量低峰期(比如夜深人静时)，写一个程序，手动去查询丢失的那部分数据，然后将消息重新发送到mq里面，把丢失的数据重新补回来。

3.积压消息长时间没有处理，mq放不下了怎么办

如果走的方式是消息积压在mq里，那么如果你很长时间都没处理掉，此时导致mq都快写满了，咋办？这个还有别的办法吗？
解决方案：
这个就没有办法了，肯定是第一方案执行太慢，这种时候只好采用 “丢弃+批量重导” 的方式来解决了。

首先，临时写个程序，连接到mq里面消费数据，收到消息之后直接将其丢弃，快速消费掉积压的消息，降低MQ的压力，然后走第二种方案，在晚上夜深人静时去手动查询重导丢失的这部分数据。

上一篇《如何保证消息按顺序执行》

下一篇《如果让你设计一个MQ，你怎么设计》

云服务器 GPU云服务器 MQ 消息队列 mq消息队列消息队列mq mq消息队列定时

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/7363.html

关于MQ的几件小事（七）如果让你设计一个MQ，你怎么设计

摘要：能不能支持数据丢失啊可以的，参考我们之前说的那个数据零丢失方案其实一个肯定是很复杂的，其实这是个开放题，就是看看你有没有从架构角度整体构思和设计的思维以及能力。其实回答这类问题，说白了，起码不求你看过那技术的源码，起码你大概知道那个技术的基本原理，核心组成部分，基本架构构成，然后参照一些开源的技术把一个系统设计出来的思路说一下就好比如说这个消息队列系统，我们来从以下几个角度来考虑一下（1...

Vixb 2019-05-23 17:29 评论0 收藏0
关于MQ的几件小事（五）如何保证消息按顺序执行

摘要：一个对应一个，但是里面进行了多线程消费，这样也会造成消息消费顺序错误。保证消息的消费顺序拆分多个，每个一个，就是多一些而已，确实是麻烦点这样也会造成吞吐量下降，可以在消费者内部采用多线程的方式取消费。 1.为什么要保证顺序消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例：比如通过mysql binlog进行两个数据...

h9911 2019-05-23 16:28 评论0 收藏0
关于MQ的几件小事（一）消息队列的用途、优缺点、技术选型

摘要：数量对吞吐量的影响可以达到几百几千个的级别，吞吐量会有小幅度的下降。这是的一大优势，可在同等数量机器下支撑大量的从几十个到几百个的时候，吞吐量会大幅下降。下一篇如何保证消息队列的高可用 1.为什么使用消息队列？（1）解耦：可以在多个系统之间进行解耦，将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯，只要该操作不是需要同步的，就可以改为使用MQ进行不同系统之间的联系，这样项目之间...

xialong 2019-05-23 16:25 评论0 收藏0
关于MQ的几件小事（四）如何保证消息不丢失

摘要：消费端弄丢了数据关闭自动提交，在自己处理完毕之后手动提交，这样就不会丢失数据。弄丢了数据一般要求设置个参数来保证消息不丢失给设置参数这个值必须大于，表示要求每个必须至少有个副本。上一篇如何保证消息不重复消费下一篇如何保证消息按顺序执行 1.mq原则数据不能多，也不能少，不能多是说消息不能重复消费，这个我们上一节已解决；不能少，就是说不能丢失数据。如果mq传递的是非常核心的消息，支撑核心的业...

stackvoid 2019-05-23 16:26 评论0 收藏0
关于redis的几件小事(三)redis的数据类型与使用场景

摘要：这个是类似的一种结构，这个一般就是可以将结构化的数据，比如一个对象前提是这个对象没嵌套其他的对象给缓存在里，然后每次读写缓存的时候，可以就操作里的某个字段。 1.string 这是最基本的类型了，就是普通的set和get，做简单的kv缓存。 2.hash 这个是类似map的一种结构，这个一般就是可以将结构化的数据，比如一个对象（前提是这个对象没嵌套其他的对象）给缓存在redis里，然后每次...

zhaochunqi 2019-05-23 16:24 评论0 收藏0