Debezium日常分享系列之：Debezium2.7版本PostgreSQL数据库连接器
Debezium日常分享系列之：Debezium2.7版本PostgreSQL数据库连接器
- 一、概述
- 二、连接器的工作原理
- 安全
- 快照
- 初始快照的默认工作流程行为
- 临时快照
- 触发临时增量快照
- 触发临时阻塞快照
- 增量快照
- 增量快照流程
- Debezium 如何解决具有相同主键的记录之间的冲突
- 快照窗口
- 触发增量快照
- 具有附加条件的临时增量快照
- 使用Kafka信令通道触发增量快照
- 具有附加条件的临时增量快照
- 停止增量快照
- 使用Kafka信令通道停止增量快照
- 只读增量快照
- 即席只读增量快照
- 阻塞快照进程
- 可能重复
- 三、Streaming changes
- PostgreSQL 10+ 逻辑解码支持（pgoutput）
- 主题名称
- 事务元数据
- 丰富变更数据事件
- 数据变更事件
- 更改事件键
- 更改事件值
- 复制身份
- 创建事件
- 更新事件
- 主键更新
- 删除事件
- 墓碑事件
- 截断事件
- 消息事件
- 四、数据类型映射
- 基本类型
- 时间类型
- 时间戳类型
- 小数类型
- HSTORE类型
- Domain类型
- Network address类型
- PostGIS类型
- Toasted values
- 默认值
- 五、设置 Postgres
- PostgreSQL on Amazon RDS
- PostgreSQL on Azure
- 安装逻辑解码输出插件
- 插件差异
- 配置 PostgreSQL 服务器
- 设置权限
- 设置权限以允许 Debezium 在使用 pgoutput 时创建 PostgreSQL 发布
- 配置 PostgreSQL 以允许与 Debezium 连接器主机进行复制
- 支持的 PostgreSQL 拓扑
- WAL磁盘空间消耗
- 为同一数据库服务器设置多个连接器
- 升级PostgreSQL
- 六、部署
- Connector配置示例
- 增加connector配置
- 七、连接器属性
- 必需的配置属性
- 高级配置属性
- Debezium 连接器 Kafka 信号配置属性
- Debezium连接器设置Kafka消费者客户端配置属性
Debezium PostgreSQL 连接器捕获 PostgreSQL 数据库架构中的行级更改。
第一次连接到 PostgreSQL 服务器或集群时，连接器会拍摄所有架构的一致快照。该快照完成后，连接器会持续捕获插入、更新和删除数据库内容以及提交到 PostgreSQL 数据库的行级更改。连接器生成数据更改事件记录并将其流式传输到 Kafka 主题。对于每个表，默认行为是连接器将所有生成的事件流式传输到该表的单独 Kafka 主题。应用程序和服务使用该主题的数据更改事件记录。
一、概述
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制，允许提取提交到事务日志的更改，并借助输出插件以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。
PostgreSQL 连接器包含两个主要部分，它们协同工作来读取和处理数据库更改：
- 逻辑解码输出插件。您可能需要安装您选择使用的输出插件。在运行 PostgreSQL 服务器之前，您必须配置使用所选输出插件的复制槽。该插件可以是以下之一：
- Decoderbufs 基于 Protobuf，由 Debezium 社区维护。
- pgoutput 是 PostgreSQL 10+ 中的标准逻辑解码输出插件。它由 PostgreSQL 社区维护，并由 PostgreSQL 本身用于逻辑复制。该插件始终存在，因此无需安装其他库。 Debezium 连接器将原始复制事件流直接解释为更改事件。
- Java 代码（实际的 Kafka Connect 连接器）读取所选逻辑解码输出插件产生的更改。它通过 PostgreSQL JDBC 驱动程序使用 PostgreSQL 的流复制协议
连接器为捕获的每个行级插入、更新和删除操作生成一个更改事件，