当前位置：首页 > news >正文

Kafka 请求处理揭秘：从入门到精通

news 来源：原创 2024/9/29 3:35:20

Kafka 请求处理揭秘：从入门到精通

今天我们来聊聊 Kafka 的请求处理流程。无论是 Kafka 客户端还是 Broker，它们的交互都是通过“请求/响应”的方式完成的。比如，客户端会发送生产消息的请求给 Broker，Broker 处理完后再响应客户端。

Kafka 定义了一组自己的请求协议，涵盖了各种操作，比如 PRODUCE 请求用于生产消息，FETCH 请求用于消费消息，METADATA 请求用于获取集群信息。截止到 Kafka 2.3 版本，已经有多达 45 种请求格式。所有请求都是通过 TCP 网络以 Socket 的方式进行通讯的。

今天，我们就来详细探讨一下 Kafka Broker 是如何处理这些请求的。

请求处理的两种简单方案

我们可以先设想两个简单的请求处理方案：

顺序处理请求：
```
while (true) {Request request = accept(connection);handle(request);
}
```
这种方式实现简单，但吞吐量太差。每个请求都必须等待前一个请求处理完毕才能得到处理。
每个请求使用单独线程处理：
```
while (true) {Request request = accept(connection);Thread thread = new Thread(() -> handle(request));thread.start();
}
```
这种方式完全异步，每个请求都有单独的线程处理，但开销极大，可能会压垮系统。

既然这两种方案都不好，那么 Kafka 是如何处理请求的呢？答案是：Reactor 模式。

什么是 Reactor 模式？

Reactor 模式是事件驱动架构的一种实现方式，特别适合处理多个客户端并发请求的场景。我们看看它的架构图：22)

多个客户端发送请求给 Reactor，Reactor 的 Dispatcher 线程将请求分发到多个工作线程中处理。Dispatcher 线程不涉及具体逻辑处理，非常轻量级，因此有很高的吞吐量表现。

Kafka 的请求处理模型

Kafka 的 Broker 端有个 SocketServer 组件，类似于 Reactor 模式中的 Dispatcher。它有 Acceptor 线程和一个网络线程池（网络线程池的大小由 num.network.threads 参数控制，默认值是 3）。Acceptor 线程将入站请求公平地分发到所有网络线程中。

网络线程拿到请求后，不是自己处理，而是将请求放入一个共享的请求队列中。Broker 端还有一个 IO 线程池，从该队列中取出请求并执行真正的处理。IO 线程池的大小由 num.io.threads 参数控制，默认值是 8。

当 IO 线程处理完请求后，会将生成的响应发送到网络线程池的响应队列中，然后由对应的网络线程负责将 Response 返还给客户端。

延时请求与 Purgatory

Kafka 中有个“炼狱”组件 Purgatory，用来缓存延时请求（Delayed Request）。比如设置了 acks=all 的 PRODUCE 请求，需要等待 ISR 中所有副本都接收了消息后才能返回。如果请求不能立刻处理，它就会暂存在 Purgatory 中，稍后满足条件时再继续处理。