程序员开发实例大全宝库

网站首页 > 编程文章 正文

尚硅谷大数据项目之快餐数仓(尚硅谷大数据电商数仓2020版)

zazugpt 2024-11-07 13:33:28 编程文章 13 ℃ 0 评论

下栽地址:https://777it.cn/13926.html

数据仓库(Data Warehouse)是一个为数据分析而设计的企业级数据管理系统。数据仓库的架构主要包含数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用。

数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。因此,数据仓库的基本架构主要包含的是数据流入流出的过程,可以分为三层——源数据、数据仓库、数据应用。从图中可以看出,数据仓库的数据来源于不同的源数据,并提供多样的数据应用,数据自上而下流入数据仓库后向上层开放应用,而数据仓库只是中间集成化数据管理的一个平台。

数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL(抽取Extra, 转化Transfer, 装载Load)的过程,ETL是数据仓库的流水线,也可以认为是数据仓库的血液,它维系着数据仓库中数据的新陈代谢,而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。

此外,传统的数据仓库架构按层级可分为 ETL、ODS、DWD、DWS 和 ADS 五个层级,层次结构 。这五个层级针对不同的需求解决各阶段各自的问题,在数据量少的情况下个别层次可以继续简化,也可以在层次之间增加数据中间件,让整个过程更加规范化,对于层级结构没必要细究,重点是每个层级所解决的问题以及在整个链路所处的位置。



本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表