当前位置: 首页 > news >正文

善用分层存储与数据去重实现存储优化

 虚拟化应用刚刚起步
  随着服务器虚拟化技术在企业中的应用越来越普及,其后端的存储系统在性能、容量以及可扩展性等方面也必须有相应的改进。太平洋保险系统处负责人王晓慧表示,基于上述考虑,我们对多个厂商的存储产品进行了测试,NetApp的FAS系列存储产品与VMware虚拟化平台结合紧密,特别是可以在不同的机柜之间实现相互的备份,方便实现前端虚拟机跨机柜的迁移。
  NetApp存储产品与VMware vSphere可以构成一个完整的从服务器到存储的完全虚拟化的环境。在服务器虚拟化环境中,NetApp存储产品可以减少50%的存储开销,可以像部署虚拟机一样快速,并内置备份和容灾功能,还可以通过VMware vCenter直接进行存储管理。除了服务器虚拟化以外,太平洋保险在桌面虚拟化方面也进行了有益的尝试。太平洋保险是从2011年下半年开始实施桌面虚拟化项目的,主要是为了解决开发环境中的数据安全问题。太平洋保险将其开发环境变成了一种虚拟桌面的模式,第三方的开发人员不用自带电脑,就可以在其虚拟桌面环境中进行编程和项目开发,这样也便于对开发项目进行统一和集中管理,从而保持数据的统一性和安全性。王晓慧表示:“如果桌面虚拟化技术在开发环境中被证明是可行的和安全的,那么未来我们可能会考虑将此技术应用到所有分公司、营业厅以及对外服务平台中。”
  由于目前虚拟桌面只用于开发环境,虚拟桌面的数量还不是很多,所以对后台的主机、存储和数据库在性能方面的压力还不是太明显。当初,太平洋保险的虚拟桌面系统后端使用的是另一个厂商的存储产品。但是后来由于数据流量不足等方面的原因,太平洋保险又将NetApp V6080用于虚拟桌面系统。桌面虚拟化应用对存储提出的挑战在于,存储既要具有高性能、高可靠性,保证数据的安全,又要具有低成本,便于管理和使用。NetApp Flash Cache技术可以消除磁盘性能的瓶颈,将存储系统的性能提高71%。NetApp技术顾问冯英杰表示,NetApp V6080内置重复数据删除功能,可以节省60%~70%的存储空间。
  从2006年开始,中国太平洋保险(集团)股份有限公司(以下简称太平洋保险)就逐步实施了数据集中,各分公司的业务逐渐向上海总部集中。2009年,太平洋保险在上海建成了全国大集中的数据中心,存储着90%的公司各类数据,此外还建立了一个同城的灾备中心。据太平洋保险系统处负责人王晓慧介绍,目前太平洋保险的数据存储总量为1.5PB~2PB。由于数据量每年都在大幅增长,太平洋保险平均每年新采购的存储容量的增长率都保持在30%以上。
  持续增加的各种新业务和用户数量让太平洋保险在存储方面面临的压力越来越大。除了单纯的数据量大以外,存储系统中还存在大量的重复数据。如何消除这些重复数据,从而进一步对存储系统进行优化和整合是摆在王晓慧和他的技术团队面前的一个难题。“未来,我们会继续在重复数据删除技术的应用上多下一些功夫,此外还要进行有效的数据挖掘,进一步提高存储资源的利用率。”王晓慧表示。
  IT基础架构以稳为主
  作为金融行业的一个重要分支,保险业在IT基础架构的建设方面与银行等金融机构的需求基本相同。王晓慧表示:“保险业更看重IT基础架构的安全性、灵活性和高可用性。与银行通常使用大型机和专有的系统相比,保险业的一个特点是,基本采用开放系统。”
  目前,在太平洋保险的IT基础架构中,60%以上都是基于x86架构的PC服务器或刀片服务器,只有一些核心的数据库才用到少量的小型机。“能用x86架构服务器解决的问题,我们都会优先选择x86架构的服务器。”王晓慧表示,“我们每年都会采购一些新的x86架构的服务器,用于虚拟化应用。不过,我们并不会盲目追求采用最新的技术。保险业最看重的还是系统的稳定性、安全性。为了更好地实现数据中心的集中化,我们通常会采用高密度的刀片服务器,只在一些特殊的应用场合,才会配置独立的PC服务器。”
  近两年,随着虚拟化、云计算等技术的兴起,企业的IT基础架构也随之发生了变化。王晓慧介绍说:“我们的数据中心也在朝着虚拟化、云计算这个方向转型。虽然现阶段虚拟化和云计算技术还不是十分成熟,但我们也在进行一些这方面的应用探索。比如,我们在x86架构服务器的虚拟化方面就先走了一步,有了许多成功的应用,但是对小型机和存储的虚拟化应用探索相对滞后。不过,我们一直在跟踪最新的技术发展趋势,会率先在测试和开发平台上尝试采用一些新技术。”
  存储优化是核心
  在实现了数据大集中以后,大平洋保险着重加强了对存储系统的优化。目前,太平洋保险存储空间的实际使用率达到了85%~90%,这与很多企业只有不足50%的存储利用率相比,已经是一个非常高的水平。但是,王晓慧对此并不十分满意,因为存储设备中还有大量重复的数据。如果能有效消除这些重复的数据,太平洋保险的存储空间还将得到进一步优化。
  “在存储资源的利用上,我们事先会做好规划,比如将现有的存储设备按照高端、中端和低端分成类,然后在分层存储理念的指导下,将数据分别存储到最合适的存储介质上。”王晓慧补充说,“近两年来,由于业务发展十分迅速,每一个新业务系统上线时,通常都需要增加一些新的存储资源。经过分析后,我们会提出新的资源容量计划,并以此为依据进行存储升级和扩容。在这个过程中,如果我们能有效利用重复数据删除技术和压缩技术,就能更好地节省存储空间。”
  由于太平洋保险采用了多个厂商的存储设备,有的存储设备中自带重复数据删除功能,因此这些存储设备的存储空间优化程度就优于那些没有重复数据删除功能的存储设备。王晓慧表示:“未来,我们希望能在整个存储系统中统一使用重复数据删除和压缩技术,而不是只在局部中使用,只有这样才能更好地优化存储空间,更充分地利用存储资源池,提高数据挖掘的效率。”
  在实施分层存储的过程中,太平洋保险并没有采用现在非常流行的固态硬盘(SSD)。“SSD现在的价格普遍较贵,对于更看重存储系统高性价比的我们来说不太适合。”王晓慧介绍说,“我们在采用NetApp的存储阵列时,就用到了NetApp的分层存储、闪存以及重复数据删除技术,完全可以满足我们对存储性能的需求。我们在邮件系统、影像系统中以及在对大量非结构化数据进行处理时,采用了大量NetApp的存储设备。经过实际测试,从性能、可靠性和整体性价比等多方面来综合考量,NetApp的存储设备更适合我们的需要。”
  高性价比是优势
  太平洋保险与NetApp的合作始于四五年前。当时,太平洋保险的数据存储量并不大,只是在一些小型的邮件系统中采用了NetApp的存储阵列,以满足数据并发访问和数据同步更新的需要。王晓慧介绍说:“在选择存储解决方案时,除了关注产品本身的性能、可扩展性、可管理性、易用性等指标以外,我们通常会优先选择经过实践反复验证过的、并且能与现有系统保持良好兼容性的产品,这也有利于系统的平滑升级。由于NetApp的存储阵列在邮件系统中的应用表现优异,我们在后来的影像系统以及其他一些存储应用中也陆续采用了NetApp的存储解决方案。与那些价格较高的光纤存储产品相比,NetApp的存储解决方案胜在具有很高的性价比。”

相关文章:

  • C#中异常的记录——log4net
  • 查看Firefox 浏览器保存站点密码的方法
  • Win8没声音的解决办法
  • 交换机的生成树技术应用实训
  • asp.net MVC 约定
  • 处理由引用计数引起的泄漏
  • javascript操作JSON
  • 五大内存分区,堆与栈的区别(转)
  • media query
  • 电脑维修常见软件工具
  • 在ArcMap中将 DEM 显示为晕渲地貌效果
  • [程序猿感悟] 风雨20年:我所积累的20条编程经验
  • virtualbox centos安装增强工具
  • 单例模式(Singleton)
  • 桌面3D----埃舍尔多面体
  • [NodeJS] 关于Buffer
  • CSS 专业技巧
  • Elasticsearch 参考指南(升级前重新索引)
  • HTML中设置input等文本框为不可操作
  • jquery ajax学习笔记
  • js 实现textarea输入字数提示
  • JS基础之数据类型、对象、原型、原型链、继承
  • Js基础知识(四) - js运行原理与机制
  • Material Design
  • ucore操作系统实验笔记 - 重新理解中断
  • 跨域
  • ​渐进式Web应用PWA的未来
  • # include “ “ 和 # include < >两者的区别
  • #define,static,const,三种常量的区别
  • #微信小程序:微信小程序常见的配置传旨
  • %@ page import=%的用法
  • (¥1011)-(一千零一拾一元整)输出
  • (1)bark-ml
  • (ISPRS,2023)深度语义-视觉对齐用于zero-shot遥感图像场景分类
  • (NO.00004)iOS实现打砖块游戏(九):游戏中小球与反弹棒的碰撞
  • (Redis使用系列) SpringBoot中Redis的RedisConfig 二
  • (Spark3.2.0)Spark SQL 初探: 使用大数据分析2000万KF数据
  • (附源码)spring boot儿童教育管理系统 毕业设计 281442
  • (循环依赖问题)学习spring的第九天
  • (转)Groupon前传:从10个月的失败作品修改,1个月找到成功
  • .NET6 开发一个检查某些状态持续多长时间的类
  • .net开源工作流引擎ccflow表单数据返回值Pop分组模式和表格模式对比
  • .NET文档生成工具ADB使用图文教程
  • .net中调用windows performance记录性能信息
  • @Repository 注解
  • [ 蓝桥杯Web真题 ]-布局切换
  • [@Controller]4 详解@ModelAttribute
  • [Android] Android ActivityManager
  • [Angular] 笔记 18:Angular Router
  • [APIO2012] 派遣 dispatching
  • [AutoSar NVM] 存储架构
  • [BZOJ1060][ZJOI2007]时态同步 树形dp
  • [C/C++] C/C++中数字与字符串之间的转换
  • [C++]:for循环for(int num : nums)
  • [HackMyVM]靶场Crossbow