2023.11.24 海豚调度,postgres库使用
目录
海豚调度架构dolphinscheduler
DAG(Directed Acyclic Graph)，
个人自用启动服务
DS的架构(海豚调度)
海豚调度架构dolphinscheduler
注:需要先开启zookeeper服务,才能进行以下操作
通过UI进行工作流的配置操作, 配置完成后, 将其提交执行, 此时执行请求会被API服务接收到, 接收到后, 随机选择一台Master来完成任务的处理(DAG, 任务分配, 资源处理...)(底层最终是有对应schedule具体完成)(Master是去中心化的),完成分配后, 将对应执行的任务交给对应worker(从节点)来执行, worker对应有一个logger服务进行日志的记录, 在执行过程中, 通过logger实时查看执行日志, 当执行完成后, 通知Master, Master进行状态变更,同时告警服务实时监控状态, 一旦发现状态出现异常, 会立即根据所匹配的告警方案, 通知给相关的人员
创建自动化脚本
DAG(Directed Acyclic Graph)，
中文名"有向无环图"。"有向"指的是有方向，准确的说应该是同一个方向，"无环"则指够不成闭环
在DAG中，没有区块的概念，他的组成单元是一笔笔的交易，每个单元记录的是单个用户的交易，这样就省去了打包出块的时间。验证手段则依赖于后一笔交易对前一笔交易的验证，换句话说，你要想进行一笔交易，就必须要验证前面的交易，具体验证几个交易，根据不同的规则来进行。这种验证手段，使得DAG可以异步并发的写入很多交易，并最终构成一种拓扑的树状结构，能够极大地提高扩展性。
hadoop 5个 hive2个 cm1个
全开的node1,17个服务
全开的node2 ,6个服务
个人自用启动服务
datax-web启动
cd /export/server/datax-web-2.1.2
./bin/start-all.sh
海豚调度ds启动
cd /export/server/dolphinscheduler/
./bin/start-all.sh
postgres 虚拟机使用pg数据库服务
#psql -h 服务器 -p 端口地址 -d 数据库 -U 用户名
psql -h 127.0.0.1 -p 5432 -d postgres -U postgres或者
psql -h hadoop01 -d postgres -U postgres
#密码：itcast123退出 \q
