当前位置: 首页 > news >正文

Apache Tez 介绍(译)

为什么80%的码农都做不了架构师?>>>   hot3.png

介绍

 Apache Tez 项目提供构建一个负责有向无环图处理任务的应用框架, 这允许一个复杂的定向非循环,图形处理数据的任务。目前,构建在  Apache Hadoop YARN 之上。

Tez 有 2个主要主题:

  • 给终端用户增强以下功能 

    • 数据流定义展示APIs(Expressive dataflow definition APIs)

    • 灵活的输入处理输出运行模式(Flexible Input-Processor-Output runtime model)

    • 数据类型无关(Data type agnostic)

    • 极易部署(Simplifying deployment)

  • 执行性能(Execution Performance)

    • 提升Map  Reduce 性能(Performance gains over Map Reduce)

    • 优化资源管理(Optimal resource management)

    • 运行时计划重新配置(Plan reconfiguration at runtime)

    •  动态物理数据流决策(Dynamic physical data flow decisions)

可以像Apache Hive 和 Apache Pig 项目那样运行任务的一个复杂的 DAG 任务集,Tez 可以用来处理数据,预先分配多个MR Jobs,现在只在一个单一的 Tez job 如下图所示.

Flow for a Hive or Pig Query on MapReduceFlow for a Hive or Pig Query on Tez


译者注:目前 apache  Tez 发展到了 apache Tez 0.8.1-alpha 版本了。本人没有使用过。希望后期能够有机会。

转载于:https://my.oschina.net/Rayn/blog/519746

相关文章:

  • LinkedList的用法小结
  • 在linux下配置静态IP
  • TotoiseSVN基本用法
  • android studio 无法在可视化页面预览布局文件
  • ubuntu php mysql
  • 这些年,这些挖掘机算法,这些反思
  • linux系统中cut sort tee 和uniq命令的使用
  • LVM的使用(二)
  • 【Spring学习笔记-6】关于@Autowired与@Scope(BeanDefination.SCOPE_PROTOTYPE)
  • Java:多态性
  • WCF bindings comparison z
  • 1026作业
  • java--字节数组输入、输出流
  • ios测试基础三:xcode对iOS项目打包与证书配置
  • java大数加法
  • 【comparator, comparable】小总结
  • 【划重点】MySQL技术内幕:InnoDB存储引擎
  • Flannel解读
  • Java 内存分配及垃圾回收机制初探
  • js继承的实现方法
  • Otto开发初探——微服务依赖管理新利器
  • Python代码面试必读 - Data Structures and Algorithms in Python
  • Spring Cloud(3) - 服务治理: Spring Cloud Eureka
  • 关键词挖掘技术哪家强(一)基于node.js技术开发一个关键字查询工具
  • 聊聊flink的TableFactory
  • 区块链分支循环
  • 我这样减少了26.5M Java内存!
  • 源码安装memcached和php memcache扩展
  • #FPGA(基础知识)
  • #pragma pack(1)
  • #每日一题合集#牛客JZ23-JZ33
  • (10)工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
  • (附源码)springboot“微印象”在线打印预约系统 毕业设计 061642
  • (免费领源码)python+django+mysql线上兼职平台系统83320-计算机毕业设计项目选题推荐
  • ./configure,make,make install的作用(转)
  • .net core 连接数据库,通过数据库生成Modell
  • .NET 表达式计算:Expression Evaluator
  • .net 发送邮件
  • .NET/C# 使用反射注册事件
  • .NET/C# 在代码中测量代码执行耗时的建议(比较系统性能计数器和系统时间)...
  • .net访问oracle数据库性能问题
  • .net解析传过来的xml_DOM4J解析XML文件
  • @Data注解的作用
  • [].slice.call()将类数组转化为真正的数组
  • []sim300 GPRS数据收发程序
  • [2016.7 day.5] T2
  • [AAuto]给百宝箱增加娱乐功能
  • [AIGC] MySQL存储引擎详解
  • [BJDCTF2020]The mystery of ip1
  • [C/C++]数据结构 堆的详解
  • [caffe(二)]Python加载训练caffe模型并进行测试1
  • [dart学习]第四篇:函数
  • [HDU]2161Primes
  • [iOS]-网络请求总结
  • [LeetCode]—Roman to Integer 罗马数字转阿拉伯数字