资讯专栏INFORMATION COLUMN

【译】RabbitMQ系列(六)-RPC模式

894974231 / 988人阅读

摘要:如果涉及返回值,就要用到本章提到的了。方法发送请求,并阻塞知道结果返回。当有消息时,进行计算并通过指定的发送给客户端。当接收到,则检查。如果和之前的匹配,则将消息返回给应用进行处理。

RPC模式

在第二章中我们学习了如何使用Work模式在多个worker之间派发时间敏感的任务。这种情况是不涉及到返回值的,worker执行任务就好。如果涉及返回值,就要用到本章提到的RPC(Remote Procedure Call)了。

本章我们使用RabbitMQ来构建一个RPC系统:一个客户端和一个可扩展的RPC服务端。我们让RPC服务返回一个斐波那契数组。

Client interface

我们创建一个简单的客户端类来演示如何使用RPC服务。call方法发送RPC请求,并阻塞知道结果返回。

</>复制代码

  1. FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
  2. String result = fibonacciRpc.call("4");
  3. System.out.println( "fib(4) is " + result);

</>复制代码

  1. RPC贴士
    虽然RPC的使用在计算机领域非常普遍,但是却经常受到批评。主要问题是编码人如果不注意使用的方法是本地还是远程时,往往会造成问题。往往让系统变得不可预知,增加不必要的复杂性和调试的难度。对此我们有如下几点建议:

  2. 是本地方法还是远程方法要一目了然

  3. 把系统的依赖写进文档

  4. 系统要处理好超时的问题

  5. 如果可以尽量使用异步的pipeline来替代像RPC这种阻塞的操作。

Callback queue

在RabbitMQ上实现RPC是非常简单的。客户端发送一个request message,服务端回应一个response message。为了接受response message我们需要在发送request message的时候附带上"callback" queue的地址。我们可以使用默认的queue。

</>复制代码

  1. callbackQueueName = channel.queueDeclare().getQueue();
  2. BasicProperties props = new BasicProperties
  3. .Builder()
  4. .replyTo(callbackQueueName)
  5. .build();
  6. channel.basicPublish("", "rpc_queue", props, message.getBytes());
  7. // ... then code to read a response message from the callback_queue ...

</>复制代码

  1. Message的属性
    AMQP 0-9-1协议预定义了14个消息属性,其中大部分很少使用,下面的属性较为常用

  2. deliverMode: 标记message为持久(设置为2)或其他值。

  3. contentType:message的编码类型,我们经常使用JSON编码,则设置为application/json

  4. replyTo: 命名回调queue

  5. correlationId:将RPC的请求和回应关联起来

需要引入新的类

</>复制代码

  1. import com.rabbitmq.client.AMQP.BasicProperties;
Correlaton Id

在上面的代码中,每次RPC请求都会创建一个用于回调的临时queue,我们有更好的方法,我们为每一个client创建一个回调queue。

但是这样有新的问题,从回调queue中收到response无法和相应的request关联起来。这时候就是correlationId属性发挥作用的时候了。为每个request中设置唯一的值,在稍后的回调queue中收到的response里也有这个属性,基于此,我们就可以关联之前的request了。如果我们遇到一个匹配不到的correlationId,那么丢弃的行为是安全的。

你可能会问,为什么我们忽略这些无法匹配的message,而不是当做一个错误处理呢?主要是考虑服务端的竞态条件,如果RPC服务器在发送response之后就宕机了,但是却没有发送ack消息。那么当RPC Server重启之后,会继续执行这个request。这就是为什么client需要幂等处理response。

Summary


我们的RPC向下面这样进行工作:

对于一个RPC request,客户端发送message时设置两个属性:replyTo设置成一个没有名字的request独有的queue;为每个request设置一个唯一的correlationId。

request发送到rpc_queue

RPC worker监听rpc_queue。当有消息时,进行计算并通过replyTo指定的queue发送message给客户端。

客户端监听回调queue。当接收到message,则检查correlationId。如果和之前的request匹配,则将消息返回给应用进行处理。

开始执行

斐波那契处理函数

</>复制代码

  1. private static int fib(int n) {
  2. if (n == 0) return 0;
  3. if (n == 1) return 1;
  4. return fib(n-1) + fib(n-2);
  5. }

这是一个简易的实现,如果传入一个较大的值,将会是个灾难。
RPC服务器的代码为RPCServer.java, 代码是很简单明确的

先是建立connection,channel和声明queue.

设置prefetchCount,我们基于请求频繁程度,会启动多个RPC Server

使用basicConsume来接收,该方法提供回调参数设置(DeliverCallback).

RPC客户端的代码为RPCClient.java,代码略微有点复杂

建立connection和channel。

call方法来发送RPC请求

生成correlationId

生成默认名字的queue用于reply,并订阅它

发送request message,设置参数replyTo和correlationId.

然后返回并开始等待response到达

因为消费者发送response是在另一个线程中,我们需要让main线程阻塞,在这里我们使用BlockingQueue。

消费者进行简单的处理,为每一个response message检查其correlationId,如果是,则将response添加进阻塞队列

main函数阻塞在BlockingQueue返回

将response返回给用户

RPCClient.java完整代码

</>复制代码

  1. import com.rabbitmq.client.AMQP;
  2. import com.rabbitmq.client.Channel;
  3. import com.rabbitmq.client.Connection;
  4. import com.rabbitmq.client.ConnectionFactory;
  5. import java.io.IOException;
  6. import java.util.UUID;
  7. import java.util.concurrent.ArrayBlockingQueue;
  8. import java.util.concurrent.BlockingQueue;
  9. import java.util.concurrent.TimeoutException;
  10. public class RPCClient implements AutoCloseable {
  11. private Connection connection;
  12. private Channel channel;
  13. private String requestQueueName = "rpc_queue";
  14. public RPCClient() throws IOException, TimeoutException {
  15. ConnectionFactory factory = new ConnectionFactory();
  16. factory.setHost("localhost");
  17. connection = factory.newConnection();
  18. channel = connection.createChannel();
  19. }
  20. public static void main(String[] argv) {
  21. try (RPCClient fibonacciRpc = new RPCClient()) {
  22. for (int i = 0; i < 32; i++) {
  23. String i_str = Integer.toString(i);
  24. System.out.println(" [x] Requesting fib(" + i_str + ")");
  25. String response = fibonacciRpc.call(i_str);
  26. System.out.println(" [.] Got "" + response + """);
  27. }
  28. } catch (IOException | TimeoutException | InterruptedException e) {
  29. e.printStackTrace();
  30. }
  31. }
  32. public String call(String message) throws IOException, InterruptedException {
  33. final String corrId = UUID.randomUUID().toString();
  34. String replyQueueName = channel.queueDeclare().getQueue();
  35. AMQP.BasicProperties props = new AMQP.BasicProperties
  36. .Builder()
  37. .correlationId(corrId)
  38. .replyTo(replyQueueName)
  39. .build();
  40. channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8"));
  41. final BlockingQueue response = new ArrayBlockingQueue<>(1);
  42. String ctag = channel.basicConsume(replyQueueName, true, (consumerTag, delivery) -> {
  43. if (delivery.getProperties().getCorrelationId().equals(corrId)) {
  44. response.offer(new String(delivery.getBody(), "UTF-8"));
  45. }
  46. }, consumerTag -> {
  47. });
  48. String result = response.take();
  49. channel.basicCancel(ctag);
  50. return result;
  51. }
  52. public void close() throws IOException {
  53. connection.close();
  54. }
  55. }

RPCServer.java完整代码

</>复制代码

  1. import com.rabbitmq.client.*;
  2. public class RPCServer {
  3. private static final String RPC_QUEUE_NAME = "rpc_queue";
  4. private static int fib(int n) {
  5. if (n == 0) return 0;
  6. if (n == 1) return 1;
  7. return fib(n - 1) + fib(n - 2);
  8. }
  9. public static void main(String[] argv) throws Exception {
  10. ConnectionFactory factory = new ConnectionFactory();
  11. factory.setHost("localhost");
  12. try (Connection connection = factory.newConnection();
  13. Channel channel = connection.createChannel()) {
  14. channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
  15. channel.queuePurge(RPC_QUEUE_NAME);
  16. channel.basicQos(1);
  17. System.out.println(" [x] Awaiting RPC requests");
  18. Object monitor = new Object();
  19. DeliverCallback deliverCallback = (consumerTag, delivery) -> {
  20. AMQP.BasicProperties replyProps = new AMQP.BasicProperties
  21. .Builder()
  22. .correlationId(delivery.getProperties().getCorrelationId())
  23. .build();
  24. String response = "";
  25. try {
  26. String message = new String(delivery.getBody(), "UTF-8");
  27. int n = Integer.parseInt(message);
  28. System.out.println(" [.] fib(" + message + ")");
  29. response += fib(n);
  30. } catch (RuntimeException e) {
  31. System.out.println(" [.] " + e.toString());
  32. } finally {
  33. channel.basicPublish("", delivery.getProperties().getReplyTo(), replyProps, response.getBytes("UTF-8"));
  34. channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
  35. // RabbitMq consumer worker thread notifies the RPC server owner thread
  36. synchronized (monitor) {
  37. monitor.notify();
  38. }
  39. }
  40. };
  41. channel.basicConsume(RPC_QUEUE_NAME, false, deliverCallback, (consumerTag -> { }));
  42. // Wait and be prepared to consume the message from RPC client.
  43. while (true) {
  44. synchronized (monitor) {
  45. try {
  46. monitor.wait();
  47. } catch (InterruptedException e) {
  48. e.printStackTrace();
  49. }
  50. }
  51. }
  52. }
  53. }
  54. }

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/73913.html

相关文章

  • RabbitMQ+PHP 教程RPC

    摘要:有助于将响应与请求关联起来。如果发生这种情况,重新启动的服务器将再次处理请求。又名服务器正在等待该队列上的请求。当消息出现时,它检查属性。然后,我们进入循环,在其中等待请求消息,完成工作并发送响应。 (using php-amqplib) 前提必读 本教程假设RabbitMQ是安装在标准端口上运行(5672)。如果您使用不同的主机、端口或凭据,则连接设置需要调整。 如果您在本教程中遇到...

    anquan 评论0 收藏0
  • 白话RabbitMQ(): RPC

    摘要:因为消费消息是在另外一个进程中,我们需要阻塞我们的进程直到结果返回,使用阻塞队列是一种非常好的方式,这里我们使用了长度为的,的功能是检查消息的的是不是我们之前所发送的,如果是,将返回值返回到。 推广 RabbitMQ专题讲座 https://segmentfault.com/l/15... CoolMQ开源项目 我们利用消息队列实现了分布式事务的最终一致性解决方案,请大家围观。可以参考...

    KevinYan 评论0 收藏0
  • RabbitMQ系列(五) - 主题模式

    摘要:主题模式在上一章我们改进了我们的日志系统,如果使用我们只能简单进行广播,而使用则允许消费者可以进行一定程度的选择。为的会同时发布到这两个。当为时,会接收所有的。当中没有使用通配符和时,的行为和一致。 主题模式 在上一章我们改进了我们的日志系统,如果使用fanout我们只能简单进行广播,而使用direct则允许消费者可以进行一定程度的选择。但是direct还是有其局限性,其路由不支持多个...

    pingan8787 评论0 收藏0
  • RabbitMQ系列(四) - 路由模式

    摘要:路由模式在之前的文章中我们建立了一个简单的日志系统。更形象的表示,如对中的感兴趣。为了进行说明,像下图这么来设置如图,可以看到有两个绑到了类型为的上。如图的设置中,一个为的就会同时发送到和。接收程序可以选择要接收日志的严重性级别。 路由模式 在之前的文章中我们建立了一个简单的日志系统。我们可以通过这个系统将日志message广播给很多接收者。 在本篇文章中,我们在这之上,添加一个新的功...

    liuchengxu 评论0 收藏0
  • RabbitMQ系列(二)-Work模式

    摘要:每个消费者会得到平均数量的。为了确保不会丢失,采用确认机制。如果中断退出了关闭了,关闭了,或是连接丢失了而没有发送,会认为该消息没有完整的执行,会将该消息重新入队。该消息会被发送给其他的。当消费者中断退出,会重新分派。 Work模式 原文地址showImg(https://segmentfault.com/img/bVbqlXr?w=694&h=252); 在第一章中,我们写了通过一个...

    lcodecorex 评论0 收藏0

发表评论

0条评论

894974231

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<