当前位置: 首页 > news >正文

南大通用GBase 8a MPP Cluster大规模并行计算技术介绍

GBase 8a MPP Cluster为非对称部署的联邦架构,GCluster Cluster和 GCware Cluster单独部署为一个集群,最大节点数为64,GNode Cluster单独部署为一个集群,支持300个以上的节点部署,可处理30PB以上的结构化数据。

大规模并行计算
GBase 8a MPP Cluster采用MPP技术,主要特点有:

分布式并行计划器,结合集群特征,对算子行进分布式处理,生成适合的分布式执行计划;
通过基于规则和基于代价的优化,保证执行计划的高效;
调度器采用异步IO等技术,确保调度的高效、可靠;
高可用能力
GBase 8a MPP Cluster通过冗余机制来保证集群的高可用特性:

可提供1个或2个副本数据冗余;
副本间数据自动同步;
复制引擎自动管理数据同步;
多分片机制降低节点故障的木桶效应;
节点发生故障时,系统自动切换至其它节点进行工作,保证业务连续性;
支持双活集群部署。
集群副本数和分片数可进行灵活配置,可配置副本分片到集群的任意一个节点上,可以根据配置在主机性能高和存储空间大的节点分配更多的主本和副本。

当节点出现异常时,可以将异常服务器的负载均匀分布在副本所在的几台正常的服务器上。这样就最大限度防止由于故障切换后木桶效应而引起的显著的性能抖动。

节点故障对应用透明,不会中断正在执行业务,一旦故障结点恢复正常,GBase 8a MPP Cluster会从其他节点上的数据恢复该节点数据,在完成更新后立即提供服务。

高性能扩展能力
GBase 8a MPP Cluster能够通过增加服务器节点对系统的计算和存储能力进行扩容,且扩展过程可进行监控、暂停、恢复、取消等灵活的监控及管理;系统支持在线扩展,性能线性提升,无需中断当前系统的运行,且支持一次扩展多个节点;可支持实例级、库级、表级等多级别灵活扩展方式。

GBase 8a MPP Cluster具备高性能扩展能力:

在线动态扩展集群节点;
每个节点可以处理100TB有效数据,同时提供计算和存储能力;
执行调度节点和数据计算节点可以按需独立扩展。
最后一个“执行调度节点”和“数据存储及计算节点”是在原有节点基础上新扩展的节点,可以扩展调度节点,也可以扩展存储和算子节点。因为GBase 8a MPP Cluster采用高性能单节点的MPP架构,因此进行集群扩展时,可以保证平滑扩展和性能的线性增长特性高性能数据加载能力。

GBase 8a MPP Cluster数据加载功能实现了所有数据运算节点并行处理数据及复本转发技术,具备很高的加载性能:

1)在单台数据服务器的情况下,集群加载可以达到数据服务器硬件资源性能的上限;

2)随着数据服务器和集群节点数的增加,集群加载性能可以持续提升。

多租户能力
GBase 8a MPP Cluster可以通过虚拟集群技术实现租户间的物理或者逻辑隔离。

在虚拟集群内,通过资源管理和资源组灵活配置不同应用和用户的资源配额和查询优先级,同时在完善的权限授权管理机制下,使得不同的应用以及不同类型的任务可以同时运行在一个集群中,但它们相互之间又得到必要的隔离,就好象运行在透明的“沙箱”一样。
 

相关文章:

  • Hive的原理概述与安装
  • 单片机开发——宠物自动饮水器方案
  • 面试官:你说你用过Dubbo,那你说说看Dubbo的SPI
  • 【Java】多线程面试总结
  • Python 深拷贝和浅拷贝的区别
  • 05_Nacos-config配置中心介绍
  • 2022年9月深圳NPDP产品经理认证,【进入了解】
  • 字节架构师分析Spring Boot源码:日志、缓存、Web服务等
  • 自定义vue项目的雷达图组件
  • CREO:CREO软件之工程图【表】之一明细表、表格创建、创建BOM球标、自动生成零件报表的简介及其使用方法(图文教程)之详细攻略
  • 接口测试实战 | Android 高版本无法抓取 HTTPS,怎么办?
  • 嵌入式开发:清理可重用软件的API
  • Windows与网络基础-3-虚拟机安装Kali Linux
  • 面试题-谈谈你对JVM的理解
  • 面试时Dubbo原理记不住?来看看《Dubbo原理浅析——从RPC本质看Dubbo》
  • [js高手之路]搞清楚面向对象,必须要理解对象在创建过程中的内存表示
  • [原]深入对比数据科学工具箱:Python和R 非结构化数据的结构化
  • 【跃迁之路】【477天】刻意练习系列236(2018.05.28)
  • - C#编程大幅提高OUTLOOK的邮件搜索能力!
  • ES6, React, Redux, Webpack写的一个爬 GitHub 的网页
  • HTTP传输编码增加了传输量,只为解决这一个问题 | 实用 HTTP
  • IndexedDB
  • Linux快速复制或删除大量小文件
  • Meteor的表单提交:Form
  • Selenium实战教程系列(二)---元素定位
  • 聊聊spring cloud的LoadBalancerAutoConfiguration
  • 名企6年Java程序员的工作总结,写给在迷茫中的你!
  • 前端代码风格自动化系列(二)之Commitlint
  • 设计模式(12)迭代器模式(讲解+应用)
  • Mac 上flink的安装与启动
  • ​创新驱动,边缘计算领袖:亚马逊云科技海外服务器服务再进化
  • #我与Java虚拟机的故事#连载10: 如何在阿里、腾讯、百度、及字节跳动等公司面试中脱颖而出...
  • (C#)获取字符编码的类
  • (zt)基于Facebook和Flash平台的应用架构解析
  • (附源码)ssm捐赠救助系统 毕业设计 060945
  • (附源码)ssm码农论坛 毕业设计 231126
  • (论文阅读笔记)Network planning with deep reinforcement learning
  • (实战篇)如何缓存数据
  • (已解决)vue+element-ui实现个人中心,仿照原神
  • .bat批处理(五):遍历指定目录下资源文件并更新
  • .NET BackgroundWorker
  • .Net IOC框架入门之一 Unity
  • .NET程序员迈向卓越的必由之路
  • /deep/和 >>>以及 ::v-deep 三者的区别
  • @SentinelResource详解
  • [@Controller]4 详解@ModelAttribute
  • [2021 蓝帽杯] One Pointer PHP
  • [④ADRV902x]: Digital Filter Configuration(发射端)
  • [8481302]博弈论 斯坦福game theory stanford week 1
  • [bzoj 3124][sdoi 2013 省选] 直径
  • [Codeforces] number theory (R1600) Part.11
  • [HUBUCTF 2022 新生赛]
  • [Java]快速入门二叉树,手撕相关面试题
  • [linux] git lfs install 安装lfs
  • [Linux]进程间通信(system V共享内存 | system V信号量)