当前位置: 首页 > news >正文

记一份电网信息化建设企业信息分析平台规划

原文: 记一份电网信息化建设企业信息分析平台规划

  在项目建设过程中,应需求,其规划大数据信息化平台建设总体方案。

一、   总体原则

  双创信息化平台建设遵循技术创新、应用创新,遵循国家、电网公司技术导向,充分考虑技术先进性,应用创新性。建设具备公司特色、具备创新特性、符合公司规范、满足公司发展及应用的一站式大数据信息化平台,提升公司大数据应用建设灵活性,充分发挥公司大数据资产价值。

  双创信息化平台是在全业务统一数据中心上的完善、细化和提升,而又不对原架构造成指标考核影响。平台是技术、管理和应用的全面创新。整体平台独立部署,技术上借鉴全业务统一数据中心建设的技术积累成果,复用部分全业务统一数据中心在源系统数据接口为原系统减负,顶层架构遵循国网公司全业务总体设计,功能、模块、组件细化设计建设全新的、开放式平台,基于创新平台建设出彩大数据应用能够无缝迁移到全业务以向国网公司汇报。

  创新平台定位为公司大数据分析应用创新建设环境,旨在支撑大数据分析应用建设开展,遵循国网公司数据不出平台的建设要求。

二、   总体方案

  信息化板块总体框架规划遵循国网公司信息化建设标准体系、运维管理体系、安全管理体系。总体技术选型采用混搭技术架构,总体框架如下图:

信息化板块总体框架图

 

1、基础设施

  主要包括机房、网络、主机、存储、负载均衡设备、安全装置等。

2、基础运维架构

  包括主机服务管理、网络服务管理、主机监控、机房管理、用户桌面管理等。

3、数据源层

  包括公司统推一级、二级系统、自建系统,外部系统,其中对全业务统一数据中心建设已接入系统进行梳理,创新平台数据接入工作部分接口沿用全业务源端接口;一级系统数据进行业务梳理申请下发,该部分根据需求合总部全业务建设进度进行细化;外部系统目前已有得外部系统数据进行梳理接入,考虑到外部数据多样性,考虑建立外部数据接口。

4、数据采集层

  建立离线同步、准实时同步、实时同步功能,建立消息中间件(离线、准实时、实时)同步结构化数据、量测数据,以及具备消息开放能力。

5、数据存储层(数据仓库)

  建立三层架构数据仓库,操作数据层(ODS)、公共明细层(DWD)、公共汇总层(DWS)。操作数据层存储源系统操作数据,公共明细层逐步建立,主要是经过唯一来源确认得主要业务数据,公共汇总层基于公司层面大数据建设,从度量、维度等角度建立汇总数据。基于数据采集层消息中间件建立缓存应用,支撑准实时业务应用相对静态数据应用。

6、数据计算层

  建立离线计算、实时计算框架,主要采用数据库计算和大数据计算框架。对外提供数据计算运行能力。建立存储元数据管理区,管理数据计算数据源调用。

7、数据服务层

  该层包括数据计算服务和工具数据源层。数据计算层,基于开发语言和关系映射框架(ORM、Hibernate)封装数据计算服务,支持SQL和NoSQL,满足不同能力水平厂商的数据计算开发。工具数据源层(应用数据层,ADS),是指分析所用工具的数据源,存储数据计算集,按照专业、主题、单位进行划分,技术选型上可用(PG、HBASE等)。

8、技术工具服务层

  主要包括数据分析工具、数据挖掘工具、数据可视化工具。集中自开发应用页面部署环境等。其中自开发可视化应用需通过权限集成。

9、应用发布层

  统一的应用审核发布、访问出口,包括授权管理、质量管理、应用情况分析、应用商店、综合评价等,在线管理应用生命周期。

10、应用层

  基于平台建设的大数据应用,三层应用架构,支撑高层领导决策、中层管理提升、基层业务优化。

11、平台管理

  共包括三大部分:公共组件模块、数据资产管理模块、平台自动化运维模块。建立数据资产管理体系、平台运维体系、平台开发规范、平台应用规范等。

11.1.公共组件模块

  建设数据静态脱敏、数据动态脱敏组件,应用于数据设计、测试、开发环节。建立公用数据接口(Open Api),统一开放式应用环境接口调用。

建立消息中心,在线发布服务目录、规范等。

11.2.数据资产管理模块

  建立数据资源管理,包括元数据管理,数据权限管理(数据权限隔离)、在线授权,数据质量管理,数据应用管理,溯源数据管理等。数据资源对外在线开放。

基于该模块建立数据资源管理规范体系,数据应用规范等。

11.3.平台自动化运维模块

  包括接口运维和、数据运维两大模块,以及安全管理、监控警告等。

  形成平台运维体系,提升平台服务能力。

12、平台服务模块

  包括统一开发平台和信息在线开放平台。

12.1.信息在线开放平台

  建立资源在线申请、数据字典在线查看(可提供脱敏的样例数据)、溯源标在线查询确认等。在线管理公司分析应用建设。建立公司分析应用上、下线管理规范。

12.2.统一开发平台

  包括数据全过程开发、应用全过程开发、应用运维管理等。

  建立应用生命周期管理规范。

三、   建设内容

  创新平台整理建设思路为总体设计、分步实施,中心主体内容建设与对外服务并行。具体建设如下:

  一是规划软硬件资源,包括机房、主机、网络、存储等。资源到位即开展环境搭建。

  二是开展中心运行环境搭建,包括各层运行环境。

  三是研发数据采集层组件,开展数据接入工作。

  四是搭建统一开发工具,对外开放数据开发、分析应用环境服务,同步建立服务目录、应用规范、管理规范、分析应用建设规范。

  五是开发数据资源管理系统,同步借助信通公司运维团队开展数据字典梳理工作,建立数据字典开放架构,建立数据分权限、分单位、授权功能。

  六是研发公共接口、公共组件、OpenApi对外开放,研发统一应用法管理平台。

  七是研发数据运维、接口运维自动化模块,提升平台可用性。

相关文章:

  • 如何快速批量建网站?
  • python3元类深入解读
  • 使用podspec创建iOS插件
  • Spring boot 添加日志 和 生成接口文档
  • 生成器13
  • 一个快速检测系统CPU负载的小程序
  • ionic错误
  • java类什么时候加载?,加载类的原理机制是怎么样的?
  • CSS3 transform变换
  • Python-opencv摄像头图像捕获
  • python入门 (一)
  • mysql 多重排序数据顺序可能不固定
  • 单词随记
  • 【346】TF-IDF
  • docker学习笔记-1
  • ES6指北【2】—— 箭头函数
  • C++11: atomic 头文件
  • isset在php5.6-和php7.0+的一些差异
  • Just for fun——迅速写完快速排序
  • laravel with 查询列表限制条数
  • mysql 数据库四种事务隔离级别
  • React16时代,该用什么姿势写 React ?
  • SQLServer之创建显式事务
  • 搭建gitbook 和 访问权限认证
  • 对话 CTO〡听神策数据 CTO 曹犟描绘数据分析行业的无限可能
  • 排序(1):冒泡排序
  • 前嗅ForeSpider采集配置界面介绍
  • 使用common-codec进行md5加密
  • 它承受着该等级不该有的简单, leetcode 564 寻找最近的回文数
  • 无服务器化是企业 IT 架构的未来吗?
  • 移动端唤起键盘时取消position:fixed定位
  • 译自由幺半群
  • 中国人寿如何基于容器搭建金融PaaS云平台
  • gunicorn工作原理
  • ​​​​​​​​​​​​​​汽车网络信息安全分析方法论
  • ​如何在iOS手机上查看应用日志
  • #Js篇:单线程模式同步任务异步任务任务队列事件循环setTimeout() setInterval()
  • #stm32整理(一)flash读写
  • #Ubuntu(修改root信息)
  • #我与Java虚拟机的故事#连载10: 如何在阿里、腾讯、百度、及字节跳动等公司面试中脱颖而出...
  • #周末课堂# 【Linux + JVM + Mysql高级性能优化班】(火热报名中~~~)
  • (1)(1.8) MSP(MultiWii 串行协议)(4.1 版)
  • (5)STL算法之复制
  • (js)循环条件满足时终止循环
  • (PHP)设置修改 Apache 文件根目录 (Document Root)(转帖)
  • (笔记)Kotlin——Android封装ViewBinding之二 优化
  • (附源码)ssm高校社团管理系统 毕业设计 234162
  • (附源码)计算机毕业设计ssm高校《大学语文》课程作业在线管理系统
  • (未解决)jmeter报错之“请在微信客户端打开链接”
  • (转)Oracle存储过程编写经验和优化措施
  • ***汇编语言 实验16 编写包含多个功能子程序的中断例程
  • **登录+JWT+异常处理+拦截器+ThreadLocal-开发思想与代码实现**
  • .aanva
  • .locked1、locked勒索病毒解密方法|勒索病毒解决|勒索病毒恢复|数据库修复
  • .net core MVC 通过 Filters 过滤器拦截请求及响应内容