当前位置: 首页 > news >正文

双十一流量洪峰 支撑阿里核心业务的云数据库揭秘

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

背景介绍

今年双十一又有新纪录刷新,21秒成交额超10亿,数据瞬间膨胀到PB级,包裹数亿级,严苛的指标对数据库产品提出了更严格的需求。HybridDB作为阿里云自研的HTAP数据库经受住了流量洪峰的考验,顺利的完成了2019年双十一的保障工作。

HybridDB在阿里集团内广泛应用。比如为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。同时盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。HybridDB承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,支撑了四大件产品双十一实时监控大屏,为阿里云双十一保驾护航。

目前HybridDB for MySQL支持高性能事务存储规格和高性能分析计算规格,融合了在线OLTP和实时OLAP业务,实现了HTAP能力的统一。以视频云相关场景为例,简要介绍,在高吞吐中心场景中的应用,实际业务场景会比本文复杂。

阿里云视频云业务

阿里云视频云典型场景如下:

78f812f37e386a9f3d604a9b8276b82b27b8750e

视频用户的在线类业务,如作业提交、转码工作流控制、推流索引等,直接坐落在HybridDB for MySQL上,实时事务tps高达5万,历史作业数据可保存5年以上;

视频云技术架构的在线实时分析和离线分析类业务,如监控数据采集与实时分析、资源调度、监控告警灯,也采用HybridDB for MySQL解决存储计算问题,实时写入tps高达200万,数据实时可见并支持包括oracle开窗函数等在内的OLAP分析SQL;

视频云业务的核心基于CDN技术,CDN是多地分发的内容缓存服务,其本身的性能和稳定性需要强大的监控调度能力来保障,HybridDB存储了CDN集群运转的实时负载状态,以及基于负载状态产生的各类分析结果以供集群的服务状态修正。一般数据库无法承载海量监控数据的存储和计算,大数据生态无法做到实时数据写入实时可见。CDN监控调度借助HybridDB for MySQL每秒百万行数据写入、PB级数据存储、毫秒级在线分析能力,解决十万级服务器的实时监控预警-调度反馈闭环处理问题,保障了阿里云CDN天量数据流量的安全运转。

其他场景持续更新中,敬请期待....


原文链接
本文为云栖社区原创内容,未经允许不得转载。

转载于:https://my.oschina.net/u/3889140/blog/2933954

相关文章:

  • python编程入门----测试与类编写
  • 项目(八) Jenkins持续集成与构建
  • Dashboard安装配置
  • vue中的slot
  • String和StringBuilder、StringBuffer的区别?
  • 关于Numba开源库(Python语法代码加速处理,看过一个例子,速度可提高6倍)
  • Aibee完成A轮6000万美元融资 宣布前阿里达摩院朱胜火加盟
  • re:Invent 大会第一天,看看AWS有哪些最新进展?\n
  • 自然语言处理怎么最快入门?
  • RabbitMQ(二):理解消息通信RabbitMQ
  • 每天10道Java面试题,跟我走,offer有!
  • OSChina 周四乱弹 —— 你从小继承了程序员基因
  • Java中数组、集合、链表、队列的数据结构和优缺点和他们之间的区别
  • Django的模板系统
  • 深入理解Emoji(二) —— 字节序和BOM
  • python3.6+scrapy+mysql 爬虫实战
  • 《微软的软件测试之道》成书始末、出版宣告、补充致谢名单及相关信息
  • 【跃迁之路】【463天】刻意练习系列222(2018.05.14)
  • ECMAScript6(0):ES6简明参考手册
  • Meteor的表单提交:Form
  • Mysql5.6主从复制
  • WordPress 获取当前文章下的所有附件/获取指定ID文章的附件(图片、文件、视频)...
  • 今年的LC3大会没了?
  • 入门级的git使用指北
  • 世界上最简单的无等待算法(getAndIncrement)
  • 小李飞刀:SQL题目刷起来!
  • 正则表达式
  • ​iOS实时查看App运行日志
  • #Z2294. 打印树的直径
  • #微信小程序:微信小程序常见的配置传旨
  • (3)选择元素——(17)练习(Exercises)
  • (6)添加vue-cookie
  • (70min)字节暑假实习二面(已挂)
  • (JS基础)String 类型
  • (阿里巴巴 dubbo,有数据库,可执行 )dubbo zookeeper spring demo
  • (七)理解angular中的module和injector,即依赖注入
  • (十)【Jmeter】线程(Threads(Users))之jp@gc - Stepping Thread Group (deprecated)
  • (十六)一篇文章学会Java的常用API
  • (算法)Game
  • (详细版)Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
  • (一)【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (转) RFS+AutoItLibrary测试web对话框
  • (转)h264中avc和flv数据的解析
  • (转)jQuery 基础
  • (转)人的集合论——移山之道
  • * CIL library *(* CIL module *) : error LNK2005: _DllMain@12 already defined in mfcs120u.lib(dllmodu
  • .NET Framework杂记
  • .net 使用$.ajax实现从前台调用后台方法(包含静态方法和非静态方法调用)
  • .net企业级架构实战之7——Spring.net整合Asp.net mvc
  • .NET设计模式(11):组合模式(Composite Pattern)
  • @property python知乎_Python3基础之:property
  • @transactional 方法执行完再commit_当@Transactional遇到@CacheEvict,你的代码是不是有bug!...
  • [ vulhub漏洞复现篇 ] ECShop 2.x / 3.x SQL注入/远程执行代码漏洞 xianzhi-2017-02-82239600
  • []利用定点式具实现:文件读取,完成不同进制之间的
  • [C++数据结构](22)哈希表与unordered_set,unordered_map实现