本书论述在设计和建造数据仓库中涉及的所有主要问题,论述分析型环境(决策支持系统环境)以及在这种环境中的数据构造。主要内容包括数据仓库的设计与建造步骤,传统系统到数据仓库的迁移,数据仓库的数据粒度、数据分割、元数据管理、外部数据与非结构化数据,分布式数据仓库、高级管理人员信息系统和数据仓库的设计评审等。
本书主要是面向数据仓库的设计、开发和管理人员,以及构造和使用现代信息系统的人员,也适于信息处理方面的高校师生和从事传统数据库系统技术工作的人阅读。
第1章 决策支持系统的发展 1
1.1 演化 1
1.2 直接存取存储设备的产生 2
1.3 个人计算机/第四代编程语言技术 3
1.4 进入抽取程序 3
1.5 蜘蛛网 4
1.6 自然演化体系结构的问题 5
1.6.1 数据缺乏可信性 5
1.6.2 生产率问题 8
1.6.3 从数据到信息 10
1.6.4 方法的变迁 11
1.7 体系结构设计环境 12
1.7.1 体系结构设计环境的层次 13
1.7.2 集成 14
1.8 用户是谁 15
1.9 开发生命周期 15
1.10 硬件利用模式 16
1.11 建立重建工程的舞台 16
1.12 监控数据仓库环境 17
1.13 小结 19
第2章 数据仓库环境 20
2.1 数据仓库的结构 22
2.2 面向主题 23
2.3 第1天到第n天的现象 26
2.4 粒度 28
2.4.1 粒度的一个例子 29
2.4.2 粒度的双重级别 31
2.5 分割问题 34
2.6 样本数据库 34
2.7 数据分割 35
2.8 数据仓库中的数据组织 37
2.9 数据仓库—标准手册 41
2.10 审计和数据仓库 41
2.11 成本合理性 41
2.12 清理仓库数据 42
2.13 报表和体系结构设计环境 42
2.14 机遇性的操作型窗口 43
2.15 小结 44
第3章 设计数据仓库 45
3.1 从操作型数据开始 45
3.2 数据/过程模型和体系结构设计环境 49
3.3 数据仓库和数据模型 50
3.3.1 数据模型 52
3.3.2 中间层数据模型 54
3.3.3 物理数据模型 58
3.4 数据模型和反复开发 59
3.5 规范化/反规范化 60
3.6 数据仓库中的快照 65
3.7 元数据 66
3.8 数据仓库中的管理参照表 66
3.9 数据周期 67
3.10 转换和集成的复杂性 70
3.11 触发数据仓库记录 71
3.11.1 事件 72
3.11.2 快照的构成 72
3.11.3 一些例子 72
3.12 简要记录 73
3.13 管理大量数据 74
3.14 创建多个简要记录 75
3.15 从数据仓库环境到操作型环境 75
3.16 正常处理 75
3.17 数据仓库数据的直接访问 76
3.18 数据仓库数据的间接访问 76
3.18.1 航空公司的佣金计算系统 76
3.18.2 零售个性化系统 78
3.18.3 信用审核 80
3.19 数据仓库数据的间接利用 82
3.20 星型连接 83
3.21 小结 86
第4章 数据仓库中的粒度 87
4.1 粗略估算 87
4.2 粒度划分过程的输入 88
4.3 双重或单一的粒度? 88
4.4 确定粒度的级别 89
4.5 一些反馈循环技巧 90
4.6 粒度的级别—以银行环境为例 90
4.7 小结 95
第5章 数据仓库和技术 96
5.1 管理大量数据 96
5.2 管理多介质 97
5.3 索引/监视数据 97
5.4 多种技术的接口 97
5.5 程序员/设计者对数据存放位置的控制 98
5.6 数据的并行存储/管理 99
5.7 元数据管理 99
5.8 语言接口 99
5.9 数据的高效装入 99
5.10 高效索引的利用 100
5.11 数据压缩 101
5.12 复合键码 101
5.13 变长数据 101
5.14 加锁管理 102
5.15 单独索引处理 102
5.16 快速恢复 102
5.17 其他的技术特征 102
5.18 DBMS类型和数据仓库 102
5.19 改变DBMS技术 104
5.20 多维DBMS和数据仓库 104
5.21 双重粒度级 109
5.22 数据仓库环境中的元数据 109
5.23 上下文和内容 111
5.24 上下文信息的三种类型 111
5.25 捕获和管理上下文信息 113
5.26 刷新数据仓库 113
5.27 小结 114
第6章 分布式数据仓库 116
6.1 引言 116
6.2 局部数据仓库 118
6.3 全局数据仓库 119
6.4 互斥数据 121
6.5 冗余 123
6.6 全局数据存取 124
6.7 分布式环境下其他考虑因素 126
6.8 管理多个开发项目 127
6.9 开发项目的性质 127
6.10 分布式数据仓库 130
6.10.1 在分布的地理位置间协调开发 131
6.10.2 企业数据分布式模型 132
6.10.3 分布式数据仓库中的元数据 134
6.11 在多种层次上建造数据仓库 134
6.12 多个小组建立当前细节级 136
6.12.1 不同层不同需求 138
6.12.2 其他类型的细节数据 140
6.12.3 元数据 142
6.13 公用细节数据采用多种平台 142
6.14 小结 143
第7章 高级管理人员信息系统和数据仓库 144
7.1 一个简单例子 144
7.2 向下探察分析 146
7.3 支持向下探察处理 147
7.4 作为EIS基础的数据仓库 149
7.5 到哪里取数据 149
7.6 事件映射 152
7.7 细节数据和EIS 153
7.8 在EIS中只保存汇总数据 154
7.9 小结 154
第8章 外部数据/非结构化数据与数据仓库 155
8.1 数据仓库中的外部数据/非结构化数据 157
8.2 元数据和外部数据 158
8.3 存储外部数据/非结构化数据 159
8.4 外部数据/非结构化数据的不同组成部分 160
8.5 建模与外部数据/非结构化数据 160
8.6 间接报告 161
8.7 外部数据归档 161
8.8 内部数据与外部数据的比较 161
8.9 小结 162
第9章 迁移到体系结构设计环境 163
9.1 一种迁移方案 163
9.2 反馈循环 167
9.3 策略方面的考虑 168
9.4 方法和迁移 171
9.5 一种数据驱动的开发方法 171
9.6 数据驱动的方法 172
9.7 系统开发生命周期 172
9.8 一个哲学上的考虑 172
9.9 操作型开发/DSS开发 173
9.10 小结 173
第10章 数据仓库的设计复查要目 174
10.1 进行设计复查所涉及的问题 175
10.1.1 谁负责设计复查 175
10.1.2 有哪些议事日程 175
10.1.3 结果 175
10.1.4 复查管理 175
10.1.5 典型的数据仓库设计复查 176
10.2 小结 185
附录 186
技术词汇 215
参考文献 222
数据库及其理论已经出现好长时间了。早期数据库主要是一些单独的数据库,应用于己知信息处理领域的各种目的——从事务处理到批处理和分析处理。人多数情况卜,早期的数据库系统主要集中于操作型的日常事务处理。近年来,数据库较为高级的思想已经产生,一方面是为了满足操作型数据处理的需求,另一方面是为了满足信息型或分析型数据处理的需求。从某种程度上讲,数据库的这种新颖思想是随着个人计算机(PC)技术、第四代程序设计语言(4GL)技术以及最终用户的推动而出现的。
下面的诸多因素导致了操作型数据库和信息型数据库的分离:
满足操作型需求的数据从物理—卜不同于满足信息型或分析型需求的数据。
支持操作型处理的技术从根本上不同于支持信息型或分析型需求的技术。
操作型数据的用户范围不同于信息型或分析型数据所支持的用户范围。
操作型环境的处理特点与信息型环境的处理特点从根本上是不同的。
由于这些原因(以及很多其他原因),当今建造数据库系统的方式是将操作型处理及数据同信息型或分析型处理及数据分离。
本书论述分析型或决策支持系统(DSS)环境以及在这种环境小的数据构造,主要讨论数据仓库(或信息仓库)及其相关问题。数据仓库是处于信息型DSS处理的核心。
本书所讨论的问题是面向管理者和开发者的。就大多数章节而言,本书是关于数据仓库的问题与技术的,在某些适当的地方也将讨论一些技术层次上的问题。本书旨在作为数据仓库的设计者和开发者的一本指导性读物。
什么是分析型、信息型处理呢?分析型或信息型处理是针对制定决策过程:卜管理方面的需求而进行的处理。分析型处理是浏览大量数据以找出其中的趋势,这就是所谓的DSS处理。当DSS分析员进行分析型处理时,不是只查看一个或两个数据记录,而是要访问很多记录,不像在操作型处理中的那种情况。
另外,DSS分析人员极少更新数据。在操作型系统中,数据以单个记录的方式频繁地更新,而在分析型处理中需要不断访问记录以及收集记录内容进行分析,但是各个记录的内容极少更改或根本不更改。
在分析型处理中,响应时间的需求与传统操作型处理相比要宽松得多。分析的响应时间可从30分钟到24小时,而对操作型处理而言这样的响应时间范围将会是一种巨大的灾难。
作为分析型环境的计算机网络比作为操作型环境的计算机网络的规模要小得多。通常情况下,分析型网络的用户远比操作型网络的用户要少。
与作为分析型环境的技术不同,操作型环境的技术必须关注其本身的数据、事务锁定、数据争用和死锁,等等。
因此,在操作型环境和分析型环境之间存在着很多重要区别环境的,着重阐述下列问题:
数据粒度
数据分割
元数据
数据可信度的需求
DSS数据的集成
DSS数据的时基
识别DSS的数据源--记录系统
迁移和方法
本书是针对数据仓库的开发者、管理者、设计者、数据管理员、数据库管理员以及在现代数据处理环境中构造系统的其他人员的。也适用于信息处理方面的大学生们。
本书是与数据仓库有关的系列丛书的第一本,此套丛书的下一本是((USING THE DATA WAREHOUSE0,该书着重阐述了在已经建造好的数据仓库中会遇到的问题。此外,还介绍了一种更大的体系结构的概念和一种操作型数据储仓(ODS)的思想。操作型数据储仓是与数据仓库相似的一种体系结构,不同之处在于操作型数据储仓只适用于操作型系统,而不适用于信息型系统。此套丛书的第三本书是((BUILDING THE OPERATIONAL DATA STORE)),书中阐述什么是操作型数据储仓与如何建造操作型数据储仓。