当前位置: 首页 > news >正文

[Hadoop in China 2011] Hadoop之上 中国移动“大云”系统解析

 

http://server.it168.com/a2011/1203/1283/000001283163.shtml

 

11111111111111111111
▲中国移动研究院业务支撑所所长孙少陵

  在12月3日的HiC2011大会上,中国移动研究院业务支撑所所长孙少陵发表了“电信运营商大数据处理应用研究和实践”的主题演讲。

  孙少陵引用了维基百科对大数据的定义,即无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。同时他介绍了大数据呈现出三大特征,即3V:数据大(Volume),例如Facebook每天在30万台服务器上 处理25Tb数据;时效性要求高(Velocity),例如搜索引擎要求在几分钟内为用户查询新闻;种类和来源多样化(Variety),除了结构化的数 据、半架构化、非结构化的数据大量产生,有的数据来自关系型数据库,有的数据来自数据仓库,而有的数据来自互联网网页等。目前对大数据的处理主要应用于分 析型的应用场景,如搜索引擎网页处理、用户行为分析、商业智能(BI)等。

  根据IDC的报告,未来10年全球数据量将以40%的速度增长,2020年全球数据量将达到35ZB,是2009年的44倍。随着移动终端的快速发展,手机每 天产生的信息量已经大大增加,与此同时,和很多企业一样,中国移动也越来越需要长期保存各类数据,来对用户行为进行分析、做市场研究。但由于存储容量的限 制,中国移动对数据存储的周期正在逐年缩短。截止2010年,中国移动业务支撑系统存储容量约3万TB,网管系统约3000TB。

  在2007年,中国移动开始了对“大云”的研究,目前已经推出了“大云”1.5版本,孙少陵介绍,“大云”1.5产品中的分析型PaaS产品就基于Hadoop平台。

11111111111111111111
▲中国移动“大云”1.5产品总体架构

   在中国移动“大云”1.5产品总体架构中,分析型PaaS产品底层基于Hadoop数据存储和分析平台,在此数据基础之上建立数据仓库系统,整合并行数 据挖掘工具、数据抽取转换以及搜索引擎,来提供商务智能平台,该商务智能平台既可以用于移动自身对用户数据的挖掘和处理,可可以作为IDC服务供应。

   根据孙少陵分享的测试数据来来看,基于Hadoop的数据抽取转换具有明显的低成本高性能特征,硬件成本仅为1/5,而性能却提升了3倍以上,这也更加 坚定了孙少陵对Hadoop平台发展前景的信心。同时他还透露中国移动希望建立Hadoop中国的分支,并计划在2012年启动。

转载于:https://www.cnblogs.com/licheng/archive/2011/12/05/2276470.html

相关文章:

  • Log4j 1使用教程
  • Myeclipse常用快捷键
  • Java基础学习总结(11)——重载与重写
  • JAVA学习Swing章节布局管理器简单学习 补充(第四种布局理解)
  • 结合案例深入解析适配器模式(二)
  • 【Flutter学习】基本组件之容器组件Container
  • Spring Boot - Web综合开发(转)
  • 总结一些常用功能源码
  • 16.04 下 ufw 防火墙的的开启、禁用、开放端口、关闭端口
  • 针对ASP.NET页面实时进行GZIP压缩优化的几款压缩模块的使用简介及应用测试!(附源码)...
  • POJ 1159 Palindrome (滚动数组 DP)
  • TCP服务端
  • IBatis.Net学习笔记九--动态选择Dao的设计分析
  • 强化学习基础:蒙特卡罗和时序差分
  • golang 浮点数 取精度的效率对比
  • Android交互
  • Angular 2 DI - IoC DI - 1
  • es6(二):字符串的扩展
  • Essential Studio for ASP.NET Web Forms 2017 v2,新增自定义树形网格工具栏
  • java中具有继承关系的类及其对象初始化顺序
  • leetcode46 Permutation 排列组合
  • Linux Process Manage
  • linux学习笔记
  • magento2项目上线注意事项
  • MaxCompute访问TableStore(OTS) 数据
  • Python学习笔记 字符串拼接
  • Theano - 导数
  • ubuntu 下nginx安装 并支持https协议
  • uva 10370 Above Average
  • vue和cordova项目整合打包,并实现vue调用android的相机的demo
  • WebSocket使用
  • 从PHP迁移至Golang - 基础篇
  • 解析 Webpack中import、require、按需加载的执行过程
  • 开放才能进步!Angular和Wijmo一起走过的日子
  • 如何优雅地使用 Sublime Text
  • 入口文件开始,分析Vue源码实现
  • 深入浅出webpack学习(1)--核心概念
  • 事件委托的小应用
  • 一道闭包题引发的思考
  • 一个6年java程序员的工作感悟,写给还在迷茫的你
  • 阿里云服务器购买完整流程
  • 好程序员大数据教程Hadoop全分布安装(非HA)
  • 积累各种好的链接
  • ​​​​​​​GitLab 之 GitLab-Runner 安装,配置与问题汇总
  • #1014 : Trie树
  • #define用法
  • #我与Java虚拟机的故事#连载11: JVM学习之路
  • #我与Java虚拟机的故事#连载14:挑战高薪面试必看
  • (3)nginx 配置(nginx.conf)
  • (70min)字节暑假实习二面(已挂)
  • (C语言)字符分类函数
  • (Matalb回归预测)PSO-BP粒子群算法优化BP神经网络的多维回归预测
  • (python)数据结构---字典
  • (Redis使用系列) Springboot 在redis中使用BloomFilter布隆过滤器机制 六
  • (第二周)效能测试