当前位置： 首页 > news >正文

数仓建模：DWS层该如何建设？如何设计通用数据模型？

news 来源：原创 2024/9/20 9:44:11

目录

0 引言

1 数仓分层架构

2 数据作用域与边界划分

3 DWS层构建方法

4 构建示例【真实项目案例】

案例1：某汽车经销商

模型层：用户画像宽表

基本要求

模型建设 

案例2：某轨道交通行业

   如何建设业务指标

  模型构建

5 DWS层评价方法

6 小结

0 引言

   在数仓建设初期，通常大家都会有这样的疑问，数仓为什么要分这么多层，每一层都要开发，我直接使用原始数据进行报表开发可以吗？或是我直接使用dwd层清洗好的数据作为ADS层开发可以吗？为什么要做公共汇总层的开发？于是数仓架构就变成了ods->dwd->ads，这样做不是不可以，在业务初期指标不是很多的情况下，我们为了能够快速构建应用看板可以这么做，但是随着业务的场景越来越复杂，指标越来越多，业务看数的需求变得更多的时候，这种模式就给IT人员造成了困扰，每一次需求都要重新开发一次，如果需求变更、迭代的快，明显数据开发人员开发速度是跟不上提需求的速度，这时候就需要我们数仓开发的同学去做好数据、指标的沉淀，开发更高效的模型来快速应对业务不断更新与迭代的各类需求，因此DWS公共汇总服务层便应运而生。那么如何构建好数据服务层，做好数据、指标的沉淀呢？本文就针对这一问题展示详细的讨论。

1 数仓分层架构

     首先我们来回顾一下数仓分层整体架构

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 分布式相关理论详解
  • 什么是贝叶斯优化（Bayesian Optimization）？
  • 昇思 25 天学习打卡营第 24 天 | MindSpore Pix2Pix 实现图像转换
  • 50、PHP 实现选择排序
  • 分布式锁的三种实现方式：Redis、基于数据库和Zookeeper
  • C#:枚举及位标志周边知识详解(小白入门)
  • Kafka知识总结（选举机制+控制器+幂等性）
  • 在 Elasticsearch 中实现采集自动扩展
  • Python urllib请求https接口报错
  • python异步编程，协程
  • java中的函数式接口介绍
  • python inf是什么意思
  • Centos安装、迁移gitlab
  • 数据透视——判别分析
  • 刷新历史新高后又大跌！剖析黄金现在适合投资吗？
  • leetcode386. Lexicographical Numbers
  • vue中实现单选
  • 力扣(LeetCode)22
  • 如何合理的规划jvm性能调优
  • 学习笔记：对象，原型和继承（1）
  • NLPIR智能语义技术让大数据挖掘更简单
  • Spring第一个helloWorld
  • 昨天1024程序员节，我故意写了个死循环~
  • ​3ds Max插件CG MAGIC图形板块为您提升线条效率！
  • ​学习一下，什么是预包装食品？​
  • ​一帧图像的Android之旅 :应用的首个绘制请求
  • # Java NIO（一）FileChannel
  • #laravel部署安装报错loadFactoriesFrom是undefined method #
  • $LayoutParams cannot be cast to android.widget.RelativeLayout$LayoutParams
  • (Matlab)基于蝙蝠算法实现电力系统经济调度
  • (TipsTricks)用客户端模板精简JavaScript代码
  • （二刷）代码随想录第16天|104.二叉树的最大深度 559.n叉树的最大深度● 111.二叉树的最小深度● 222.完全二叉树的节点个数
  • (附源码)apringboot计算机专业大学生就业指南 毕业设计061355
  • （三）centos7案例实战—vmware虚拟机硬盘挂载与卸载
  • （一）80c52学习之旅-起始篇
  • （转）linux 命令大全
  • (转)linux自定义开机启动服务和chkconfig使用方法
  • （转）全文检索技术学习(三)——Lucene支持中文分词
  • (轉貼) 寄發紅帖基本原則(教育部禮儀司頒布) (雜項)
  • ***利用Ms05002溢出找“肉鸡
  • *算法训练（leetcode）第四十天 | 647. 回文子串、516. 最长回文子序列
  • .NET C# 使用 iText 生成PDF
  • .NET C#版本和.NET版本以及VS版本的对应关系
  • .NET Core 控制台程序读 appsettings.json 、注依赖、配日志、设 IOptions
  • .net mvc actionresult 返回字符串_.NET架构师知识普及
  • .NET/C# 使窗口永不获得焦点
  • .NET设计模式（7）：创建型模式专题总结（Creational Pattern）
  • /proc/vmstat 详解
  • @Async 异步注解使用
  • @manytomany 保存后数据被删除_[Windows] 数据恢复软件RStudio v8.14.179675 便携特别版...
  • [ 数据结构 - C++]红黑树RBTree
  • [ 云计算 | AWS 实践 ] 基于 Amazon S3 协议搭建个人云存储服务
  • [2669]2-2 Time类的定义
  • [Android Pro] Notification的使用
  • [AutoSAR 存储] 汽车智能座舱的存储需求