大数据之数据抽取架构演变过程
架构演变之Flink架构的演变过程
一、 起初搭建整个大数据平台是基于CDH这一套资源管理和整合的CM资源管理器搭建的
整个平台包括了： HDFS，YARN，HIVE，zoozie,FLINK,Spark,Zookeeper等组件搭建而成，
刚开始搭建的时候，所有的资源管理都是依靠YARN进行资源的管理，调度和任务的查看，
而当时我们搭建的Flink集群是基于YARN进行资源管理和调度的，因为YARN中不仅仅包含着FLInk的资源，也有hive，zoozie，hdfs等等的资源，这样容易造成yarn资源的过度使用，容易引起整个底座的cpu以及内存的使用问题，经过排查，主要是由于FLink的使用资源引起的，所以后续就把Flink从整个集群中剥离出来，进行资源的隔离，最后Flink采用了StandAlone HA部署（但是这个目前还是存在问题，后续根据项目进行优化）
参考： FlinkHA 高可用集群部署
二、数据抽取架构的演变
直接用FLinkCDC抽取任务，会导致源端数据库的cpu和内存急速上升以至于宕机
采用ogg的方式，本质上是由源端库自动触发变化和全量数据，解决了上面的问题
在抽取的过程中遇到的问题：
1.ogg推送数据的数据格式：
如果不是这种格式，导致kafka消费数据，没有数据
2.
create table if not exists xxx(
`ID` DECIMAL(19,0),
XXXX，
primary key(ID) not enforced
) with (
'connector' = 'kafka',
'topic' = '表名',
'properties.bootstrap.servers' = '10.100.XXX.XXXX:9092,10.100.XXX.XXXX:9092,10.100.XXX.XXXX:9092',
'scan.startup.mode' = 'earliest-offset',
'properties.group.id' = 'xxx',
'format' = 'ogg-json'
);
注意这个format，一定是那种形式推送，采用那种形式的格式化json
3.注意源端数据库子段类型（根据字段数据值的大小，决定属于那种类型）
flink ogg官网：
Ogg | Apache Flink