当前位置: 首页 > news >正文

为什么要做数据治理以及如何进行数据治理?

大家好,我是王老狮,今年工信部进行数据安全管理认证,公司很“幸运”的倍挑中进行试点执行,那么为了保证数据安全合规且满足数据管理等级的认证,今年做了很多的动作。那么就根据数据治理的一些经验给大家进行分享一下。

数据治理背景

政策背景

国内

• 2019年11月, 党的十九届四中全会在《中共中央关于坚持和完善中国特色社会主 义制度 推进国家治理体系和治理能力现代化若干重大问题的决定》 中首次明确数据作为生产要素参与社会分配。
• 2020年3月发布的《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》 中提出, 要加快培育数据要素市场, 推进政府数据开放共享, 提升社会数据资源价值, 加强数据资源整合和安全保护。
• 2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》 中提出, 要加快培育发展数据要素市场, 建立数据资源清单管理机制, 完善数据权属界定、 开放共享、 交易流通等标准和措施, 发挥社会数据资源价值。 推进数字政府建设, 加强数据有序共享, 依法保护个人信息

海外

2019年12月, 美国发布《联邦数据战略与治理》
2020年02月, 欧盟发布《欧洲数据战略》
2020年09月, 英国发布《国家数据战略》

总结

  1. 多国将数据战略上升为国家战略
  2. 数据治理是促进数据价值实现重要保障
  3. 数据开放共享是释放数据价值基础条件
  4. 数据质量管理是释放数据价值的关键环节

技术背景

DIKW金字塔模型

DIKW金字塔模型 : 数据是基础, 数据质量是数据价值的根本

在这里插入图片描述

技术挑战

• 信息孤岛: 孤岛现象突出, 业务系统“各自为战”数据分散, 且数据已业务为导向
• 标准不统一: 未制定统一的数据标准, 各系统业务口径和技术定义差距较大
• 数据质量低: 各系统数据良莠不齐、 质量低数据格式不统一
• 数据管理成本高: 数据很难得到高效的组织与管理
• 数据共享难: 未建立数据全局数据共享机制, 实现数据互联互通
• 数据安全: 数据安全问题日益严峻
• 多模态: 数据不可用(非结构化数据)、 不能用(质量低) 、 不好用(未有效整合) 问题突出

数据治理的目标和意义

在这里插入图片描述

  • 数据架构:合理
  • 数据质量:提升
  • 数据标准:权威
  • 数据目录:清晰
  • 数据流通:共享
  • 数据价值: 放大
  • 数据安全:可控
  • 数据资产: 家底清、 底数明

目标: 进得来、 管得了、 治理好、 看得见、 控得住、 可共存
提升数据的使用价值

实施方法介绍

PAI实施方法论介绍

P:Process-oriented 流程化
提供工作流程与模板
将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段, 并规定每个阶段的输入输出内容及模板
A:Automation 自动化
提供产品与工具
产品(赋能) 包括: 资产管理平台、 标签管理平台、 资源服务平台、 BI
工具(提效) 包括: 针对数据接入、 开发、 调度等提供工具批量化实施
I:Intelligence 智能化
提供非结构化数据处理和分析能力, 及结构化数据治理效率和质量增强能力
非结构化: 文本、 视频、 语音等处理能力、 图谱构建能力
结构化: 数据标准化、 建模、 数据融合加工

四大能力建设

聚:数据汇聚能力,面对数据来源各异,数据类型纷繁多样,数据时效要求不一等各类情况,数据治理首先能把各类数据接入到平台中,“进的来”是第一步。

治:狭义数据治理能力,包括数据标准、数据质量、元数据、数据安全、数据生命周期、主数据。核心是保证数据标准的统一、借助元数据掌握数据资产分布情况及影响分析和血缘关系、数据质量地持续提升、数据资产的安全可靠、数据资产的淘汰销毁机制以及核心主数据的统一及使用。

通:数据拉通整合能力,原始业务数据分散在各业务系统中,数据组织是以满足业务流转为前提。后续数据需求是根据实际业务对象开展而非各业务系统,所以需要根据业务实体重新组织数据。比如政府单位针对人的综合分析通常会涉及:财产、教育程度、五险一金、缴税、家庭成员等,需要以身份证号拉通房管局、交通局、教育局、人社局、税务局、卫健委等多个委办局数据。数据拉通整合能力是后续满足多样化需求分析的基础,是数据资产积累沉淀的根基,也是平台建设的另一个重点。

用:数据服务能力,数据资产只有真正赋能于前端业务才能发挥实际效用,所以如何让业务部门快速找到并便利的使用所需数据资产是数据治理平台的另一项核心能力。

P:plan,标准、规划、流程制定;D:do,产品工具辅助落地;C:check,业务技术双重检查保证;A:action,持续优化提升数据质量及服务。

狭义数据治理

在这里插入图片描述

广义的数据治理

在这里插入图片描述

数据治理流程化介绍

数据类项目交付流程

在这里插入图片描述

数据治理流程化

在这里插入图片描述

数据治理自动化

在这里插入图片描述
在这里插入图片描述

产品赋能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相关文章:

  • 那些被渐渐遗忘的python知识点
  • LeetCode16. 最接近的三数之和
  • 外包干了三年,真废了。。。
  • WinLicense 3.1.3.0 Crack
  • 通过Java监听MySQL数据的变化
  • Sam-ba烧录工具的使用教程
  • 基于驾驶训练优化算法的函数寻优算法
  • Linux运维面试题总结—Linux基础、计算机网络基础
  • ARM通用中断控制器GIC之中断处理
  • Vector简介说明
  • 图像处理黑科技——弯曲矫正、去摩尔纹、切边增强、PS检测
  • 大学网课查题接口
  • 【C语言】扫雷小游戏
  • 『Halcon与C#混合编程』011_工业相机的SDK介绍
  • 卷积核flip+transpose+cv.imread+enumerate+np.pad+tqdm
  • AngularJS指令开发(1)——参数详解
  • django开发-定时任务的使用
  • JS基础篇--通过JS生成由字母与数字组合的随机字符串
  • Perseus-BERT——业内性能极致优化的BERT训练方案
  • React-flux杂记
  • Traffic-Sign Detection and Classification in the Wild 论文笔记
  • vue数据传递--我有特殊的实现技巧
  • 半理解系列--Promise的进化史
  • 浅谈JavaScript的面向对象和它的封装、继承、多态
  • 深入浅出Node.js
  • 微信小程序设置上一页数据
  • 看到一个关于网页设计的文章分享过来!大家看看!
  • Redis4.x新特性 -- 萌萌的MEMORY DOCTOR
  • 阿里云ACE认证学习知识点梳理
  • (1)STL算法之遍历容器
  • (Redis使用系列) SpringBoot 中对应2.0.x版本的Redis配置 一
  • (带教程)商业版SEO关键词按天计费系统:关键词排名优化、代理服务、手机自适应及搭建教程
  • (附源码)python房屋租赁管理系统 毕业设计 745613
  • (附源码)spring boot儿童教育管理系统 毕业设计 281442
  • (五)关系数据库标准语言SQL
  • (原創) 未来三学期想要修的课 (日記)
  • (转)Scala的“=”符号简介
  • *Django中的Ajax 纯js的书写样式1
  • ./indexer: error while loading shared libraries: libmysqlclient.so.18: cannot open shared object fil
  • .gitattributes 文件
  • .NET CORE 第一节 创建基本的 asp.net core
  • .net core 3.0 linux,.NET Core 3.0 的新增功能
  • .NET多线程执行函数
  • .NET国产化改造探索(三)、银河麒麟安装.NET 8环境
  • .Net接口调试与案例
  • .Net中ListT 泛型转成DataTable、DataSet
  • /etc/motd and /etc/issue
  • @entity 不限字节长度的类型_一文读懂Redis常见对象类型的底层数据结构
  • @RequestBody的使用
  • @RequestMapping处理请求异常
  • @RequestParam详解
  • [ C++ ] template 模板进阶 (特化,分离编译)
  • [1204 寻找子串位置] 解题报告
  • [2018/11/18] Java数据结构(2) 简单排序 冒泡排序 选择排序 插入排序
  • [bzoj1912]异象石(set)