当前位置: 首页 > news >正文

DataWorks新手引导(持续更新)

Q:子账号使用DataWorks需要选择什么授权策略?

A:DataWorks还未采用这种授权方式哈!
image
DataWorks给子账号使用的流程是:主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息

注: 主账号新建子账号时,创建AK这一步的时候,AK一定要保存好,不然子账号在更新个人信息的时候,还需要主账号重新去创建一次AK。
image


Q: 我进入了 DataWorks(大数据开发套件),在哪里写命令?

A:可以在数据开发页面,新建ODPS_SQL任务,在SQL任务中写SQL脚本。
image

要是不知道怎么进入数据开发页面,那就看看这个文档吧:使用说明


Q: 关于创建任务时的一点疑惑

A:
image

任务类型:节点任务是单个的任务;工作流任务是指,一个工作流任务中可以包含多个节点任务(最多30个节点任务)。
调度类型:手动任务是只能手动触发运行的 ;周期调度是指,我们会根据您任务的调度配置,定时去运行您的任务;调度类型一旦确认将无法修改。


Q:为什么要提交任务,这个提交是提交到哪里,提交后有什么用?

image

提交:是 DataWorks 特有的一个逻辑,没有提交的任务代码,是不能享受 DataWorks 强大的调度功能的。任务提交,是提交到了哪里呢?任务提交是提交到了调度系统,调度系统的功能是:根据您任务中的调度配置去运行任务。您只需要配置好任务的运行周期和任务之间的依赖关系,就再也无需担心任务的运行了。简直是给任务找了一个保姆,一键托管呐。

说了这么多,任务的调度配置在哪里呢?
image

给DataWorks 团队一个赞,简直是太好用了~ hahaha~~

插播一个小广告,DataWorks团队招产品、技术、测试、UED 有意向可以钉钉联系彭敏!

Q:DataWorks 为什么提交了任务以后,任务没有运行呢?

A: 我设置了一个每小时跑一次的任务,提交了任务以后,为什么接下来的一个小时,这个任务还没有开始运行呢?
是因为DataWorks 的调度系统,是当天晚上23.30开始生成第二天需要运行的任务实例,所以提交的任务要等到第二天才会自动运行哦。

注意:如果超过了23.30提交的任务,可能就赶不上当天批量生成实例这趟车了,只能等下一趟(也就是第三天才会开始运行)。但如果需要快速运行起来,可以选择测试运行和补数据运行~

怕大家不能理解为什么产品逻辑要这么设置,我就给大家解释一下:如果咱们要算公司每天的销售额,总不能是当天晚上算吧(要是算完以后,又有人来消费了,还得再加上,太麻烦了),所以我们都是今天计算昨天的销售额(这个 ‘昨天’ 我们也叫业务日期,请大家在选择时间的时候,注意看清楚,选择的是业务日期还是运行日期)。


Q:如何测试运行一个任务呢?

A: 我这个SQL 已经编辑好了,我现在想运行一下这个SQL ,来测试一下我的代码,那我该怎么运行这个SQL呢?
image

运行SQL任务有两种方式,如上图所示:

方式一:运行,这种运行方式是直接将SQL代码下发到底层去执行,好处是方便快捷,坏处是运行结果只保留在页面上,页面刷新/关闭后就没有了,且寻找历史执行记录相对麻烦。

方式二:测试运行,这种运行方式是需要将代码提交到调度系统,然后触发调度系统生成实例快照,成功生成实例后,才会开始运行任务。好处是可以使用调度系统参数、能够看到每一次运行的运行记录(运行记录保留30天),坏处是相对麻烦一点。


Q:如何补数据运行一个任务呢?

补数据前咱们先了解一下,啥时候需要做补数据这个操作,补数据能干啥?
补数据可以选择一个业务流程(通过多个任务间的相互依赖,完成了一个业务流程),还能选择多个业务日期(其实就是能选好多天),这样即使代码写错了,还是能有挽救的机会的嘛,下面有两个经典场景,仅供参考:

  1. 如果任务周期运行后,发现今天任务的运行结果不符合预期,想重跑一下,那么可以选择补数据运行来实现(为啥用补数据,是因为补数据可以选择下游节点,测试运行只针对单个节点有效)。
  2. 想测试一下任务的调度配置是否有效,请选择补数据运行,不仅可以选择下游节点,还能选择任务的业务日期(一次操作,可以补很长一段时间的任务呢),完美解决不知道调度配置是否符合预期的问题。

A: 说了那么多,下面说一下怎么补数据。
补数据这个步骤需要到 运维中心 里面去操作,运维中心在哪看图片~
image

如果在运维中心里没有找到心仪的任务,那么说明你打开的方式不对,你可以换种方式打开,比如说:

  1. 看看任务是否提交了;
  2. 看看任务的类型是否选对了;
    image

选中任务后,就可以去选择补数据的任务和日期了。

再多说一句:补数据的时候,如果任务和时间选择的都比较多,会批量生成大量的任务实例,请小主谨慎操作~


Q:如何查看任务的日志?

A:任务测试运行以后,页面会有一个链接跳转到运维中心-测试实例下,可以选中任务,单击查看节点运行日志,即可查看到任务的运行日志(如果任务有报错,您不知该如何处理,请将日志以txt格式保存,通过工单反馈给我们)。
image


如有其他问题,请加钉钉群~ 加群后可以直接 AT 彭敏/李珍珍!

image

相关文章:

  • TOP语句放到表值函数外,效率异常低下
  • 产品经理教你玩转阿里云负载均衡SLB系列(一):快速入门--什么是负载均衡
  • Enum一点使用总结
  • 路由器相关参数及设置
  • 祝网友们龙年快乐!
  • CSS以图换字的9种方法
  • 部署Oracle 11.2.0.3 RAC (二)
  • [WinForm]DataGridView通过代码新增行问题
  • linux下配置SS5(SOCK5)代理服务
  • Spring.net 学习笔记之ASP.NET底层架构
  • stagefright框架 Video Playback的流程
  • EF架构~LinqToEntity里实现left join的一对一与一对多
  • Linux一般由四个主要部分组成
  • sshfs
  • Trie树(字典树)
  • 【JavaScript】通过闭包创建具有私有属性的实例对象
  • 【跃迁之路】【444天】程序员高效学习方法论探索系列(实验阶段201-2018.04.25)...
  • 10个确保微服务与容器安全的最佳实践
  • canvas 高仿 Apple Watch 表盘
  • CODING 缺陷管理功能正式开始公测
  • css选择器
  • javascript面向对象之创建对象
  • Java-详解HashMap
  • LeetCode算法系列_0891_子序列宽度之和
  • Linux学习笔记6-使用fdisk进行磁盘管理
  • mongodb--安装和初步使用教程
  • MQ框架的比较
  • mysql innodb 索引使用指南
  • passportjs 源码分析
  • QQ浏览器x5内核的兼容性问题
  • React16时代,该用什么姿势写 React ?
  • Solarized Scheme
  • ucore操作系统实验笔记 - 重新理解中断
  • 设计模式 开闭原则
  • 微信小程序--------语音识别(前端自己也能玩)
  • 运行时添加log4j2的appender
  • mysql面试题分组并合并列
  • #考研#计算机文化知识1(局域网及网络互联)
  • (02)Hive SQL编译成MapReduce任务的过程
  • (2020)Java后端开发----(面试题和笔试题)
  • (3)选择元素——(14)接触DOM元素(Accessing DOM elements)
  • (TOJ2804)Even? Odd?
  • (vue)el-checkbox 实现展示区分 label 和 value(展示值与选中获取值需不同)
  • (附源码)springboot 房产中介系统 毕业设计 312341
  • (附源码)基于SSM多源异构数据关联技术构建智能校园-计算机毕设 64366
  • (附源码)计算机毕业设计SSM基于java的云顶博客系统
  • (十一)手动添加用户和文件的特殊权限
  • (一)Thymeleaf用法——Thymeleaf简介
  • (转)程序员技术练级攻略
  • .halo勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复
  • .NET C# 使用 SetWindowsHookEx 监听鼠标或键盘消息以及此方法的坑
  • .Net CF下精确的计时器
  • .NET CLR Hosting 简介
  • .NET core 自定义过滤器 Filter 实现webapi RestFul 统一接口数据返回格式
  • .NET 动态调用WebService + WSE + UsernameToken