当前位置: 首页 > news >正文

执行sql脚本——kettle开发03

一、转换对象的优先级

  • kettle中转换和作业的执行顺序:

1、一个作业内的转换,是顺序执行的。

2、一个转换内的步骤是并行执行的。

3、作业内不支持事务,转换内支持事务。

  • 根据业务需要,通常需要在转换内顺序执行,小技巧如下:

1、执行SQL脚本是优先于所有步骤。

2、使用“阻塞数据直到步骤都完成”,确保其他数据步骤都完成再进行下一步骤。

如果我们不想让执行SQ脚本先执行,有没有办法让他听话呢?答案是一定的,此时我们需要用到阻塞对象,在执行SQ脚本前面安一个智能保安,保安保证前面的对象都执行完以后,再允许执行SQ脚本来运行。

二、执行的顺序

下面两种写法,执行的顺序是一样的。

sql执行脚本放到最后,有时候会报错,或者锁表,故可以添加“阻塞等待”

三、表输入输出优化建议

我们日常用的最多的就是使用裁剪表,但是裁剪表有个缺点就是会将输出表中的数据先全部清空再插入,如果用户正在使用该表的数据,会导致在表输入至表输出的时间内看不到数据,以为是系统BUG或者其他的原因。容易引起用户的误解,因此面对读取插入时间超过3s的转换,一般是不建议采用裁剪表,还是采用先删除部分需要更新的数据,一般会删除一天的数据,再插入一天的数据。

习惯性使用指定数据库字段。

相关文章:

  • 《深入解析:近邻算法的原理、实现与应用》
  • 自定义类型:结构体
  • 计算机精选期刊特辑
  • 什么是 UUID,uuid
  • Virtuoso IC5141 实验六 全差动运算放大器设计
  • d20(184-190)-勇敢开始Java,咖啡拯救人生
  • 服务器监控运维方案,一体化智能观测服务器状态
  • AGI技术与原理浅析:曙光还是迷失?
  • SpringBoot(九)之整合mybatis
  • Texstudio——设置实时自动更新PDF的方法
  • 使用curl发送http请求
  • 网络安全架构之零信任安全
  • 【热门话题】一文带你读懂公司是如何知道张三在脉脉上发了“一句话”的
  • 面试总结之:socket线路切换
  • 抖音视频怎么去水印保存部分源码|短视频爬虫提取收集下载工具
  • 5分钟即可掌握的前端高效利器:JavaScript 策略模式
  • co模块的前端实现
  • electron原来这么简单----打包你的react、VUE桌面应用程序
  • Github访问慢解决办法
  • gops —— Go 程序诊断分析工具
  • iOS高仿微信项目、阴影圆角渐变色效果、卡片动画、波浪动画、路由框架等源码...
  • java多线程
  • LintCode 31. partitionArray 数组划分
  • linux学习笔记
  • Mysql优化
  • PAT A1050
  • React 快速上手 - 07 前端路由 react-router
  • Vue组件定义
  • webgl (原生)基础入门指南【一】
  • 06-01 点餐小程序前台界面搭建
  • Java总结 - String - 这篇请使劲喷我
  • ​​​​​​​​​​​​​​汽车网络信息安全分析方法论
  • ​520就是要宠粉,你的心头书我买单
  • ​二进制运算符:(与运算)、|(或运算)、~(取反运算)、^(异或运算)、位移运算符​
  • ‌[AI问答] Auto-sklearn‌ 与 scikit-learn 区别
  • ‌JavaScript 数据类型转换
  • "无招胜有招"nbsp;史上最全的互…
  • # centos7下FFmpeg环境部署记录
  • # 数论-逆元
  • #pragam once 和 #ifndef 预编译头
  • ${factoryList }后面有空格不影响
  • (01)ORB-SLAM2源码无死角解析-(66) BA优化(g2o)→闭环线程:Optimizer::GlobalBundleAdjustemnt→全局优化
  • (4) PIVOT 和 UPIVOT 的使用
  • (C#)if (this == null)?你在逗我,this 怎么可能为 null!用 IL 编译和反编译看穿一切
  • (Matalb时序预测)WOA-BP鲸鱼算法优化BP神经网络的多维时序回归预测
  • (ZT) 理解系统底层的概念是多么重要(by趋势科技邹飞)
  • (创新)基于VMD-CNN-BiLSTM的电力负荷预测—代码+数据
  • (第9篇)大数据的的超级应用——数据挖掘-推荐系统
  • (二)hibernate配置管理
  • (二)七种元启发算法(DBO、LO、SWO、COA、LSO、KOA、GRO)求解无人机路径规划MATLAB
  • (附源码)springboot宠物医疗服务网站 毕业设计688413
  • (附源码)springboot社区居家养老互助服务管理平台 毕业设计 062027
  • (附源码)小程序 交通违法举报系统 毕业设计 242045
  • (计算机网络)物理层
  • (接口自动化)Python3操作MySQL数据库