Rocketmq面试(四)RocketMQ 的推模式和拉模式有什么区别

一、PUSH模式

1.  
   public class Consumer {
2.  
   public static void main(String[] args) throws InterruptedException, MQClientException {
3.  
   // 初始化consumer，并设置consumer group name
4.  
   DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name");
5.  
    
6.  
   // 设置NameServer地址
7.  
   consumer.setNamesrvAddr("localhost:9876");
8.  
   //订阅一个或多个topic，并指定tag过滤条件，这里指定*表示接收所有tag的消息
9.  
   consumer.subscribe("TopicTest", "*");
10.  
    //注册回调接口来处理从Broker中收到的消息
11.  
    consumer.registerMessageListener(new MessageListenerConcurrently() {
12.  
    @Override
13.  
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
14.  
    System.out.printf("%s Receive New Messages: %s %n", Thread.currentThread().getName(), msgs);
15.  
    // 返回消息消费状态，ConsumeConcurrentlyStatus.CONSUME_SUCCESS为消费成功
16.  
    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
17.  
    }
18.  
    });
19.  
    // 启动Consumer
20.  
    consumer.start();
21.  
    System.out.printf("Consumer Started.%n");
22.  
    }
23.  
    }

消费者会定义一个消息监听器，并把这个监听器注册到DefaultMQPushConsumer,同时也会注册到其实现类，当拉取消息的时候，就会使用这个监听器来处理消息，那这个监听器什么时候调用呢？

消费者真正拉取请求的类是DefaultMQPush-ConsumerImpl，这个类的pullMessage方法调用了PullApiWrapper的pullKernelImpl方法，这个方法有一个参数是回调函数Pull-Callback,当PULL状态是PullStatus.FOU-ND代表拉取成功。

1.  
   PullCallback pullCallback = new PullCallback() {
2.  
   @Override
3.  
   public void onSuccess(PullResult pullResult) {
4.  
   if (pullResult != null) {
5.  
   pullResult = DefaultMQPushConsumerImpl.this.pullAPIWrapper.processPullResult(pullRequest.getMessageQueue(), pullResult,
6.  
   subscriptionData);
7.  
    
8.  
   switch (pullResult.getPullStatus()) {
9.  
   case FOUND:
10.  
    //省略部分逻辑
11.  
    DefaultMQPushConsumerImpl.this.consumeMessageService.submitConsumeRequest(
12.  
    pullResult.getMsgFoundList(),
13.  
    processQueue,
14.  
    pullRequest.getMessageQueue(),
15.  
    dispatchToConsume);
16.  
    //省略部分逻辑
17.  
    break;
18.  
    //省略其他case
19.  
    default:
20.  
    break;
21.  
    }
22.  
    }
23.  
    }
24.  
     
25.  
    @Override
26.  
    public void onException(Throwable e) {
27.  
    //省略
28.  
    }
29.  
    };

这个处理逻辑调用了ConsumerMessageService的submitConsumeRequest方法，看一下并发消费的处理逻辑

1.  
   public void submitConsumeRequest(
2.  
   final List<MessageExt> msgs,
3.  
   final ProcessQueue processQueue,
4.  
   final MessageQueue messageQueue,
5.  
   final boolean dispatchToConsume) {
6.  
   final int consumeBatchSize = this.defaultMQPushConsumer.getConsumeMessageBatchMaxSize();
7.  
   if (msgs.size() <= consumeBatchSize) {
8.  
   ConsumeRequest consumeRequest = new ConsumeRequest(msgs, processQueue, messageQueue);
9.  
   try {
10.  
    this.consumeExecutor.submit(consumeRequest);
11.  
    } catch (RejectedExecutionException e) {
12.  
    this.submitConsumeRequestLater(consumeRequest);
13.  
    }
14.  
    } else {
15.  
    //分批处理，跟上面逻辑一致
16.  
    }

ConsumerRequest是一个线程类，run方法里面调用了消费者定义的消息处理方法

1.  
   public void run() {
2.  
   //省略逻辑
3.  
   MessageListenerConcurrently listener = ConsumeMessageConcurrentlyService.this.messageListener;
4.  
   //省略逻辑
5.  
   try {
6.  
   //调用消费方法
7.  
   status = listener.consumeMessage(Collections.unmodifiableList(msgs), context);
8.  
   } catch (Throwable e) {
9.  
   //省略逻辑
10.  
    }
11.  
    //省略逻辑
12.  
    }

下面以并发消费方式下的同步拉取消息为例总结一下消费者消息处理过程：

1.在MessageListenerConcurrently中定义消费者处理逻辑，在消费者启动的时候注册到DefultMQpushConsumer,和DefaultMQ-PushConsumerImpl

2.消费者启动时，启动消费拉取线程PullMessageService,里面死循环不停的从broker拉取消息，这里调用了DefaultMQPushConsumerImpl类的pullMessage方法

3.DefaultMQPushConsumerImpl类的pullMessage方法调用了PullAPIWrapper的pullKernelImpl方法真正的发送PULL请求，并传入PullCallback的回调函数

4.拉取到消息后，调用 PullCallback 的 onSuccess 方法处理结果，这里调用了 ConsumeMessageConcurrentlyService 的 submitConsumeRequest 方法，里面用 ConsumeRequest 线程来处理拉取到的消息；

5.ConsumerRequest处理消息时调用了消费端定义的消费逻辑，也就是MessageListerConcurrently的consumeMessage方法。

pull模式

官方代码

1.  
   DefaultLitePullConsumer litePullConsumer = new DefaultLitePullConsumer("lite_pull_consumer_test");
2.  
   litePullConsumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
3.  
   litePullConsumer.subscribe("TopicTest", "*");
4.  
   litePullConsumer.start();
5.  
   try {
6.  
   while (running) {
7.  
   List<MessageExt> messageExts = litePullConsumer.poll();
8.  
   System.out.printf("%s%n", messageExts);
9.  
   }
10.  
    } finally {
11.  
    litePullConsumer.shutdown();
12.  
    }

可以我们看到，PULL模式需要在处理逻辑里面不停的去拉取，比如上面代码中写了一个死循环，那PULL模式中poll韩式是怎么实现的呢？

跟踪源码可以看到，消息拉取最终是从 DefaultLitePullConsumerImpl 类中的一个 LinkedBlockingQueue 上面拉取。那消息是什么时候 put 到 LinkedBlockingQueue 呢？官方拉取消息的代码中有一个 subscribe 方法订阅了 Topic，这个 subscribe 方法最终调用了 DefaultLite-PullConsumerImpl 类的 subscribe

1.  
   public synchronized void subscribe(String topic, String subExpression) throws MQClientException {
2.  
   try {
3.  
   if (topic == null || topic.equals("")) {
4.  
   throw new IllegalArgumentException("Topic can not be null or empty.");
5.  
   }
6.  
   setSubscriptionType(SubscriptionType.SUBSCRIBE);
7.  
   SubscriptionData subscriptionData = FilterAPI.buildSubscriptionData(defaultLitePullConsumer.getConsumerGroup(),
8.  
   topic, subExpression);
9.  
   this.rebalanceImpl.getSubscriptionInner().put(topic, subscriptionData);
10.  
    this.defaultLitePullConsumer.setMessageQueueListener(new MessageQueueListenerImpl());
11.  
    assignedMessageQueue.setRebalanceImpl(this.rebalanceImpl);
12.  
    if (serviceState == ServiceState.RUNNING) {
13.  
    this.mQClientFactory.sendHeartbeatToAllBrokerWithLock();
14.  
    updateTopicSubscribeInfoWhenSubscriptionChanged();
15.  
    }
16.  
    } catch (Exception e) {
17.  
    throw new MQClientException("subscribe exception", e);
18.  
    }
19.  
    }

这里给 DefaultLitePullConsumer 类的 messageQueueListener 这个监听器进行了赋值。当监听器监听到 MessageQueue 发送变化时，就会启动消息拉取消息的线程 Pull-TaskImpl，拉取消息成功后，调用 submitConsume-Request 方法把拉取到的消息放到 consumeRequestCache，然后启动下一次拉取。在消费者启动时，会启动 RebalanceService 这个线程，可以看到最终调用了 最终调用了 Rebalance-LitePullImpl 的 messageQueueChanged 方法，代码如下：

1.  
   public void messageQueueChanged(String topic, Set<MessageQueue> mqAll, Set<MessageQueue> mqDivided) {
2.  
   MessageQueueListener messageQueueListener = this.litePullConsumerImpl.getDefaultLitePullConsumer().getMessageQueueListener();
3.  
   if (messageQueueListener != null) {
4.  
   try {
5.  
   messageQueueListener.messageQueueChanged(topic, mqAll, mqDivided);
6.  
   } catch (Throwable e) {
7.  
   log.error("messageQueueChanged exception", e);
8.  
   }
9.  
   }
10.  
    }

下面以并发消费方式下的同步拉取消息为例总结一下消费者消息处理过程：

1. 消费者启动，向 DefaultLitePullConsumer 订阅了 Topic，这个订阅过程会向 DefaultLitePullConsumer 注册一个监听器；

2. 消费者启动过程中，会启动 Message-Queue 重平衡线程 Rebalance-Service，当重平衡过程发现 ProcessQueueTable 发生变化时，启动消息拉取线程；

3. 消息拉取线程拉取到消息后，把消息放到 consumeRequestCache，然后进行下一次拉取；

4. 消费者启动后，不停地从 consumeReq-uestCache 拉取消息进行处理。

总结

通过本文的讲解，可以看到 PUSH 模式和 PULL 模式本质上都是客户端主动拉取，RocketMQ并没有真正实现 Broker 推送消息的 PUSH 模式。RocketMQ 中 PULL 模式和 PUSH 模式的区别如下：

1. PULL 模式是从 Broker 拉取消息后放入缓存，然后消费端不停地从缓存取出消息来执行客户端定义的处理逻辑，而 PUSH 模式是在死循环中不停的从 Broker 拉取消息，拉取到后调用回调函数进行处理，回调函数中调用客户端定义的处理逻辑；

2. PUSH 模式拉取消息依赖死循环来不停唤起业务，而 PULL 模式拉取消息是通过 MessageQueue 监听器来触发消息拉取线程，消息拉取线程会在拉取完一次后接着下一次拉取。

这篇好文章是转载于：学新通技术网