Kafka系列之：Dead Letter Queue死信队列DLQ
Kafka系列之：Dead Letter Queue死信队列DLQ
- 一、死信队列
- 二、参数errors.tolerance
- 三、创建死信队列主题
- 四、在启用安全性的情况下使用死信队列
更多内容请阅读博主这篇博客：
- Kafka系列之：Kafka Connect深入探讨 - 错误处理和死信队列
一、死信队列
- 死信队列（DLQ）仅适用于接收器连接器。
- 当一条记录以JSON格式到达接收器连接器时，但接收器连接器配置期望另一种格式，如Avro时，就会发生错误。连接器在发生serde错误时不会停止。相反，连接器会继续处理记录并将错误发送到Dead Letter Queue（DLQ）。可以使用DLQ主题记录中的记录标头来识别和解决出现错误时的问题。通常，这些是可以轻松纠正的配置错误。
注意：
- DLQ主题是根据与连接器API密钥关联的资源自动创建的。
- 不能将接收器连接器的DLQ主题添加到同一接收器连接器消费的主题列表中（以防止无限循环）。
二、参数errors.tolerance
errors.tolerance有两个有效值：
- none（默认值）
- all
当errors.tolerance设置为none时，错误或无效记录会导致连接器任务立即失败，