关于MQ的几件小事（五）如何保证消息按顺序执行

h9911 发布于2019-05-23 16:28 / 2315人阅读

摘要：一个对应一个，但是里面进行了多线程消费，这样也会造成消息消费顺序错误。保证消息的消费顺序拆分多个，每个一个，就是多一些而已，确实是麻烦点这样也会造成吞吐量下降，可以在消费者内部采用多线程的方式取消费。

1.为什么要保证顺序

消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例：比如通过mysql binlog进行两个数据库的数据同步，由于对数据库的数据操作是具有顺序性的，如果操作顺序搞反，就会造成不可估量的错误。比如数据库对一条数据依次进行了插入->更新->删除操作，这个顺序必须是这样，如果在同步过程中，消息的顺序变成了删除->插入->更新，那么原本应该被删除的数据，就没有被删除，造成数据的不一致问题。

2.出现顺序错乱的场景

（1）rabbitmq
①一个queue，有多个consumer去消费，这样就会造成顺序的错误，consumer从MQ里面读取数据是有序的，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

②一个queue对应一个consumer，但是consumer里面进行了多线程消费，这样也会造成消息消费顺序错误。

（2）kafka
①kafka一个topic，一个partition，一个consumer，但是consumer内部进行多线程消费，这样数据也会出现顺序错乱问题。

②具有顺序的数据写入到了不同的partition里面，不同的消费者去消费，但是每个consumer的执行时间是不固定的，无法保证先读到消息的consumer一定先完成操作，这样就会出现消息并没有按照顺序执行，造成数据顺序错误。

3.保证消息的消费顺序

（1）rabbitmq
①拆分多个queue，每个queue一个consumer，就是多一些queue而已，确实是麻烦点；这样也会造成吞吐量下降，可以在消费者内部采用多线程的方式取消费。

②或者就一个queue但是对应一个consumer，然后这个consumer内部用内存队列做排队，然后分发给底层不同的worker来处理

（2）kafka
①确保同一个消息发送到同一个partition，一个topic，一个partition，一个consumer，内部单线程消费。

②写N个内存queue，然后N个线程分别消费一个内存queue即可

上一篇《如何防止数据队列数据丢失》
下一篇《消息积压在消息队列里怎么办》

云服务器 GPU云服务器消息如何保证顺序 js没有按顺序执行 js没有按顺序执行吗 java多线程按顺序执行

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/7262.html

关于MQ的几件小事（七）如果让你设计一个MQ，你怎么设计

摘要：能不能支持数据丢失啊可以的，参考我们之前说的那个数据零丢失方案其实一个肯定是很复杂的，其实这是个开放题，就是看看你有没有从架构角度整体构思和设计的思维以及能力。其实回答这类问题，说白了，起码不求你看过那技术的源码，起码你大概知道那个技术的基本原理，核心组成部分，基本架构构成，然后参照一些开源的技术把一个系统设计出来的思路说一下就好比如说这个消息队列系统，我们来从以下几个角度来考虑一下（1...

Vixb 2019-05-23 17:29 评论0 收藏0
关于MQ的几件小事（六）消息积压在消息队列里怎么办

摘要：紧接着征用倍的机器来部署，每一批消费一个临时的消息。这种做法相当于临时将资源和资源扩大倍，以正常速度的倍来消费消息。解决方案这种情况下，实际上没有什么消息挤压，而是丢了大量的消息。 1.大量消息在mq里积压了几个小时了还没解决场景：几千万条数据在MQ里积压了七八个小时，从下午4点多，积压到了晚上很晚，10点多，11点多。线上故障了，这个时候要不然就是修复consumer的问题，让他恢复消...

SwordFly 2019-05-23 17:32 评论0 收藏0
关于MQ的几件小事（四）如何保证消息不丢失

摘要：消费端弄丢了数据关闭自动提交，在自己处理完毕之后手动提交，这样就不会丢失数据。弄丢了数据一般要求设置个参数来保证消息不丢失给设置参数这个值必须大于，表示要求每个必须至少有个副本。上一篇如何保证消息不重复消费下一篇如何保证消息按顺序执行 1.mq原则数据不能多，也不能少，不能多是说消息不能重复消费，这个我们上一节已解决；不能少，就是说不能丢失数据。如果mq传递的是非常核心的消息，支撑核心的业...

stackvoid 2019-05-23 16:26 评论0 收藏0
关于MQ的几件小事（一）消息队列的用途、优缺点、技术选型

摘要：数量对吞吐量的影响可以达到几百几千个的级别，吞吐量会有小幅度的下降。这是的一大优势，可在同等数量机器下支撑大量的从几十个到几百个的时候，吞吐量会大幅下降。下一篇如何保证消息队列的高可用 1.为什么使用消息队列？（1）解耦：可以在多个系统之间进行解耦，将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯，只要该操作不是需要同步的，就可以改为使用MQ进行不同系统之间的联系，这样项目之间...

xialong 2019-05-23 16:25 评论0 收藏0
关于redis的几件小事(四)redis的过期策略以及内存淘汰机制

摘要：的过期策略是什么样的采用了定期删除惰性删除的过期策略。定期删除原理定期删除指的是默认每隔就随机抽取一些设置了过期时间的，检测这些是否过期，如果过期了就将其删掉。所有只会抽取一部分而不会全部检查。 1.数据为什么会过期？首先，要明白redis是用来做数据缓存的，不是用来做数据存储的(当然也可以当数据库用)，所以数据时候过期的，过期的数据就不见了，过期主要有两种情况， ①在设置缓存数据时制定了...

AbnerMing 2019-05-23 16:23 评论0 收藏0