chapter2.数据仓库原理

数据仓库原理

第二章 数据仓库原理

数据仓库原理

第2章 数据仓库原理 2.1数据仓库的结构与技术要求 2.1.1数据仓库的总体结构 2.1.2数据集市 2.1.3数据仓库的技术要求 2.2数据仓库中的数据 2.2.1数据仓库的数据组织 2.2.2数据模型 2.2.3数据仓库的概念模型 2.2.4数据仓库的逻辑模型与物理模型

数据仓库原理

2.3元数据 2.3.1元数据的作用 2.3.2元数据的分类 2.3.3元数据的标准化 2.3.4数据粒度

数据仓库原理

2.1 数据仓库的结构与技术要求

2.1.1 数据仓库的总体结构

数据仓库原理

1. 数据仓库的概念结构 从数据仓库的概念结构看，应该包含数据 源、数据准备区、数据仓库数据库、数据集市/知 识挖掘库以及各种管理工具和应用工具。 数据仓库的创建、应用可以利用各种数据 仓库管理工具辅助完成。

数据仓库原理

图2-1 数据仓库的概念结构

业务系统 数据源 外部 数据源

数 据 准 备 区

数 据 仓 库 数 据 库

数据 集市/ 知识 挖掘 库

应用工具

用户

数据 集市/ 知识 挖掘 库

应用工具

用户

管理工具

数据仓库原理

2.数据仓库的总体层次结构

为实现数据仓库的功能，数据仓库的总体层次结构应 该由数据仓库基本功能层、数据仓库管理层和数据仓库环 境支持层组成。 (1)数据仓库的基本功能层应该包含从数据源抽取数 据，对所抽取的数据进行筛选、清理，将清理后的数据加 载到数据仓库中，根据用户的需求设立数据集市，完成数 据仓库的复杂查询、决策分析和知识的挖掘等功能。

数据仓库原理

(2)数据仓库的管理层包含数据管理与元数据管 理两部分。数据管理与元数据管理主要负责对数 据仓库中的数据抽取、清理、加载、更新与刷新 等操作进行管理。

数据仓库原理

(3)数据仓库环境支持层主要包含数据传输和数 据仓库基础两大部分。这两大部分对于数据仓库 的创建和使用来说是必不可少的，没有这两个数 据仓库的支持环境，数据仓库的创建与使用是无 法实现的。

数据仓库原理

3.数据仓库的结构模式(1)数据仓库的自顶向下结构，这是最早提 出的数据仓库结构。 (2)数据仓库的自底向上结构，核心是通过 独立开发的数据集市逐渐构建数据仓库。

数据仓库原理

2.1.2 数据集市 1.数据集市的特点 数据集市除具有数据仓库的基本特征以外，还 具有以下特点： (1)规模较小，灵活，可以按照多种方式 来组织，如按特定的应用、部门、地 域、主题等。 (2)发工作一般由业务部门主持定义、设 计、实施、管理和维护。

数据仓库原理

(3)能够快速实现，代价较低，投资回收期 短，风险小。 (4)具集的紧密集成。 (5)有利于进一步升级到完整的数据仓库或形 成分布式数据仓库。

数据仓库原理

2.数据集市的类型

数据集市可以分为两种，一种是独立数 据集市(Independent Data Mart),另一 种是从属数据集市(Dependent Data Mart)

数据仓库原理

3.企业级数据集市结构 尽管自底向上结构也存在许多缺点，但 它基于数据集市构建数据仓库的由小到大， 由部分到整体的思想给后来者很大的启发。

数据仓库原理

2.1.3 数据仓库的技术要求 1.数据管理技术 (1)大批量数据管理 在数据仓库的所有技术中最重要的是管理大批 量数据技术。如果不能管理大批量数据，那么 数据仓库的创建与使用是不可能的。管理大批 量数据包括管理大批量数据能力和管理好大批 量数据的能力，即管理大批量数据技术要求管 理能力的满足和管理的高效率两方面要求。

数据仓库原理

一般数据仓库对大批量数据的管理可以通过对文 件的寻址、索引，数据的外延，有效的溢出管理 等技术来实现。

数据仓库原理

(2)数据仓库的高效率索引与数据监视技术

数据仓库中对数据的访问应有灵活性，即对数 据具有快速和易访问的能力。显然，如果数据 不能被方便地检索和访问，数据仓库很难适应 大数据量存储和处理的要求。因此，支持辅助 索引、稀疏索引、动态索引和临时索引等的索 引技术就变得十分重要，还必须考虑创建索引 和使用索引的代价等。

数据仓库原理

另一方面，能够随时监控数据仓库有许多方面的 原因，包括： A.决定是否对数据进行重组。 B.决定索引结构的有效性。 C.决定数据仓库中的数据是否溢出。 D.决定数据的统计组成。 E.决定剩余可用空间。

数据仓库原理

如果某项技术不能高效和方便地监视数据，则这种技 术不适用于元数据管理。

(3)元数据管理技术 典型的元数据包括： A.数据仓库表结构。 B.数据仓库表属性。 C.数据仓库数据源。 D.从记录系统到数据仓库的映射。