flink 配置表
在 Flink 的上下文中，直接提及“配置表”可能不是 Flink 框架本身的一个标准术语。然而，从更广泛的角度来看，Flink 确实需要配置来管理其运行时的行为和资源。这些配置通常存储在配置文件中，如 flink-conf.yaml，它们可以被视为 Flink 的“配置表”，尽管这个表述不是技术上的精确术语。
对于 Flink 的配置，以下是一些关键点：
配置文件
- flink-conf.yaml：这是 Flink 的主要配置文件，包含了许多与 Flink 作业和集群相关的配置项。它应该是一个扁平的 YAML 键值对集合，格式为 key: value。
常见配置项
- 主机和端口：
- rest.address 和 rest.port：这些配置项用于设置 Flink REST API 的地址和端口，客户端将使用这些设置来连接到 Flink。
- jobmanager.rpc.address 和 jobmanager.rpc.port：这些配置项用于 TaskManager 连接到 JobManager/ResourceManager。
- 内存配置：
- jobmanager.memory.process.size：JobManager 进程的总内存大小。
- taskmanager.memory.process.size：TaskManager 进程的总内存大小。
- 并行度：
- parallelism.default：当未在任何地方指定并行度时使用的默认并行度。
- 状态后端和检查点：
- state.backend.type：要使用的状态后端类型，如 filesystem 或 rocksdb。
- state.checkpoints.dir：写入检查点的目录。
- state.savepoints.dir：保存点的默认目录。
- execution.checkpointing.interval：检查点的基本间隔设置。
- Web UI：
- web.submit.enable：是否启用通过 Flink UI 上传和启动作业。
- web.cancel.enable：是否启用通过 Flink UI 取消作业。
- 文件系统配置：
- Flink 提供了一些对所有文件系统均适用的基本配置，如 fs.default-scheme 用于设置默认的文件系统 scheme 和 authority。
- 还可以限制文件系统的连接数，如 fs..limit.total、fs..limit.input、fs..limit.output 等。
注意事项
- 更改配置文件后，通常需要重新启动 Flink 进程以使更改生效。
- Flink 的配置选项非常灵活，可以根据具体的需求进行调整。
总结
虽然 Flink 本身没有一个名为“配置表”的明确术语，但配置文件 flink-conf.yaml 和其他相关配置文件可以视为 Flink 的配置表，它们包含了 Flink 集群和作业运行所需的各种配置项。这些配置项涵盖了从主机和端口设置到内存管理、并行度调整、状态后端和检查点配置等多个方面。