当前位置: 首页 > news >正文

大数据查询引擎 PrestoDB

原文链接 http://www.oschina.net/p/facebook-presto



Presto是Facebook最新研发的数据查询引擎,可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。

PrestoDB 是 Facebook 推出的一个大数据的分布式 SQL 查询引擎。可对从数 G 到数 P 的大数据进行交互式的查询,查询的速度达到商业数据仓库的级别。

Presto 可以查询包括 Hive、Cassandra 甚至是一些商业的数据存储产品。单个 Presto 查询可合并来自多个数据源的数据进行统一分析。

Presto 的目标是在可期望的响应时间内返回查询结果。Facebook 在内部多个数据存储中使用 Presto 交互式查询,包括 300PB 的数据仓库,超过 1000 个 Facebook 员工每天在使用 Presto 运行超过 3 万个查询,每天扫描超过 1PB 的数据。此外包括 Airbnb 和 Dropbox 也在使用 Presto 产品。

Presto 是一个分布式系统,运行在集群环境中,完整的安装包括一个协调器 (coordinator) 和多个 workers。查询通过例如 Presto CLI 的客户端提交到协调器,协调器负责解析、分析和安排查询到不同的 worker 上执行。

此外,Presto 需要一个数据源来运行查询。当前 Presto 包含一个插件用来查询 Hive 上的数据,要求:

  • Hadoop CDH4

  • 远程 Hive metastore service

Presto 不使用 MapReduce ,只需要 HDFS



要求:

  • Mac OS X or Linux

  • Java 7, 64-bit

  • Maven 3 (for building)

  • Python 2.4+ (for running with the launcher script)



转载于:https://www.cnblogs.com/TendToBigData/p/10501420.html

相关文章:

  • Windows Server 2008 计划任务配置(任务计划程序)每分钟执行BAT
  • SAX(三个实例)
  • [数据库]redis与redis操作
  • XMLHttpRequest Ajax 实例简介
  • Android开发之数据存储——SharedPreferences基础知识详解,饿补学会基本知识,开发者必会它的用法。...
  • xml的SAX解析过程详解
  • xml文件操作(利用dom4j)
  • aspx页面导出为word
  • mysql优化之索引优化
  • 使用SAX解析XML
  • AJAX实现类Google Suggest效果
  • Android:百度地图 + 百度导航
  • 文章太长了!~关于 XML 的一些基础知识
  • iOS: FFmpeg的使用一
  • ??如何把JavaScript脚本中的参数传到java代码段中
  • co模块的前端实现
  • Javascript弹出层-初探
  • laravel5.5 视图共享数据
  • leetcode-27. Remove Element
  • 解决jsp引用其他项目时出现的 cannot be resolved to a type错误
  • 力扣(LeetCode)22
  • 猫头鹰的深夜翻译:JDK9 NotNullOrElse方法
  • 区块链技术特点之去中心化特性
  • 容器化应用: 在阿里云搭建多节点 Openshift 集群
  • 山寨一个 Promise
  • 使用前端开发工具包WijmoJS - 创建自定义DropDownTree控件(包含源代码)
  • 如何正确理解,内页权重高于首页?
  • ​configparser --- 配置文件解析器​
  • #define 用法
  • #Linux(make工具和makefile文件以及makefile语法)
  • #微信小程序:微信小程序常见的配置传旨
  • (1)Map集合 (2)异常机制 (3)File类 (4)I/O流
  • (1/2) 为了理解 UWP 的启动流程,我从零开始创建了一个 UWP 程序
  • (done) NLP “bag-of-words“ 方法 (带有二元分类和多元分类两个例子)词袋模型、BoW
  • (Oracle)SQL优化技巧(一):分页查询
  • (附源码)springboot炼糖厂地磅全自动控制系统 毕业设计 341357
  • (机器学习-深度学习快速入门)第一章第一节:Python环境和数据分析
  • (转)真正的中国天气api接口xml,json(求加精) ...
  • .h头文件 .lib动态链接库文件 .dll 动态链接库
  • .NET CORE 2.0发布后没有 VIEWS视图页面文件
  • .NET MVC之AOP
  • .Net 垃圾回收机制原理(二)
  • .net使用excel的cells对象没有value方法——学习.net的Excel工作表问题
  • @RequestBody的使用
  • [.NET]桃源网络硬盘 v7.4
  • []利用定点式具实现:文件读取,完成不同进制之间的
  • [Angular] 笔记 8:list/detail 页面以及@Input
  • [autojs]autojs开关按钮的简单使用
  • [C#]扩展方法
  • [C++]C++基础知识概述
  • [cb]UIGrid+UIStretch的自适应
  • [Contest20180313]灵大会议
  • [Deepin 15] 编译安装 MySQL-5.6.35
  • [EFI]Acer Aspire A515-54g电脑 Hackintosh 黑苹果efi引导文件
  • [IE9] GPU硬件加速到底是实用创新还是噱头