数据仓库概述

马龙驹发布于2019-07-25 12:35 / 1762人阅读

摘要：数据仓库，英文名称为，可简写为或。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库特点数据处理，屏蔽源系统和应用的变更面向主题的集成的。其实单元测试并不难，只是需要与业务知识取数逻辑相结合。

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。
为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出，
主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，
并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

数据仓库特点：数据处理，屏蔽源系统和应用的变更

面向主题的

集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

相对稳定的

反应历史变化的---不做删除和修改

ODS （操作数据存储）

操作数据存储ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分
具备如下特点：

1.面向主题的
2.集成的
3.当前或接近当前的
4.不断变化的

三范式建模：分层，大宽表，拉链，可以left join
星型结构建模：面向集市的，将事实和维度拆开，构成维度事实表。

建模流程：
CDM(概念模型)-->LDM（逻辑模型）-->PDM(物理模型)

单元测试：根据源系统逻辑，手动编写sql,和集市或者汇总层的数据进行对比。其实单元测试并不难，只是需要与业务知识取数逻辑相结合。常用的sql就是 distinct，group by,order by。
另外在测试过程中需要进行sql优化，提高效率

调度工具：作业流管理，作业调度，作业监控

数据建模方法：
维度建模
三范式建模

参考资料：

数据仓库

云服务器 GPU云服务器数据仓库概述数据分析概述数据挖掘概述数据挖掘技术概述

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/38986.html

数据仓库的直白概述

摘要：如销售数据跟部门表，客户表之间的关系。而查询，又是这三者之间的粘合剂，它表达了用户的需求，经过引擎的解析，根据数据模型的描述，从数据仓库找到所需要的数据。本文来自网易云社区作者：王攀我们知道，大部分公司都拥有了自己的财务，OA，CRM 等系统。这些系统都有自己的独立数据库，记录着企业运行情况某个方面的数据。但是单独看这些系统的报表，并不一定能对企业运行情况有全面客观的了解。就像只...

sorra 2019-06-28 10:59 评论0 收藏0
【容器云 UK8S】镜像仓库：镜像仓库概述，UK8S支持的镜像库类型和在UK8S中使用UHub

摘要：概述镜像仓库概述镜像库用于存储分发镜像，你可以将您的应用打包成镜像，并到镜像仓库，需要使用时，再从镜像仓库到本地。概述镜像仓库概述镜像库用于存储、分发Docker镜像，你可以将您的应用打包成Docker镜像，并Push到镜像仓库，需要使用时，再从镜像仓库Pull到本地。UK8S支持的镜像库类型UK8S支持各类公有及私有镜像库，如：DockerHub官方镜像库（默认）UHub(UCloud镜像...

Tecode 2022-06-28 19:00 评论0 收藏0
云计算模型 - 1. 概述

摘要：读了微软总结的云计算设计模式系列文章，觉得很受启发，遂将这个系列翻译出来如下。每个模式都描述了该模式试图解决的问题，在使用该模式时应考虑的问题，以及一个基于微软云的例子。读了微软 Azure 总结的云计算设计模式系列文章，觉得很受启发，遂将这个系列翻译出来如下。云计算模型这些设计模式对于在云上构建高可用性，伸缩性，安全的应用程序很有用。每个模式都描述了该模式试图解决的问题，在使用...

MarvinZhang 2019-06-28 10:55 评论0 收藏0
云计算模型 - 1. 概述

摘要：读了微软总结的云计算设计模式系列文章，觉得很受启发，遂将这个系列翻译出来如下。每个模式都描述了该模式试图解决的问题，在使用该模式时应考虑的问题，以及一个基于微软云的例子。读了微软 Azure 总结的云计算设计模式系列文章，觉得很受启发，遂将这个系列翻译出来如下。云计算模型这些设计模式对于在云上构建高可用性，伸缩性，安全的应用程序很有用。每个模式都描述了该模式试图解决的问题，在使用...

ruicbAndroid 2019-06-24 17:57 评论0 收藏0