下载
下载
第30章 数据仓库和在线事务处理
设计作为全局信息系统项目一部分的数据库是很困难的,并且经常做得很糟.但是创建 一个通用的数据库,能接受长时间运行的复杂查询和小而快的事务,是更难的事.我们的目 标当然不是向读者展示如何创造这样的奇迹,只是给出正确步骤以创建基于数据仓库的决策 支持系统 (Decision Support System, DSS) 数据库,或在线事务处理 (OnLine T r a n s a c t i o n Processing, OLAP)数据库. 通常情况下,允许密集的事务处理的数据库与允许在线分析处理 (OnLine Analytical (data Processing, OLAP)的数据库不一样.为优化查询性能,表需要是非规范式的,产生新的数据 库能容纳大量数据,并对其中的信息允许相对快速的查询.这样的数据库称数据仓库 warehouse).虽然数据仓库设计用来容纳大量的数据,这些数据却不经常改变.用户可以认为 数据仓库中的数据是静态的.对于从 OLTP传送到 O L A P或D S S系统的数据,需要清理并通过 特殊途径处理.这就由数据迁移服务 (Data Transformation Services, DTS)起重要作用. 本章有三个目标.首先,显示如何创建数据仓库和 D S S系统;其次,讨论事务系统;再 者,给出如何创建这两种类型应用的要点.当然,对读者很重要的要求是熟悉 SQL Server , 索引和锁问题,以及创建存储过程和远程存储过程.如果这些问题读者还不太清楚将会错过 这些目标,所以应赶紧回头看本书的第一部分.对于熟悉这些问题的读者,请继续.
30.1 SQL Server作为数据仓库
当在写本章的要点时,遇到"鸡与蛋"一样的两难问题.我不知道如何开始,并为找到 开始的合适理由而改变了可能有十余次想法,终于在五分钟后找到其他理由.于是笔者决定 像在现实世界中一样做. 首先笔者将给出数据仓库的概括定义和主要内容.然后揭示如何创建好的数据仓库,考 虑必要的软硬件配置.接着开始主要问题:如何填充仓库 读者将学到如何使用好的填充策 略,混合使用存储过程,数据导入和复制. 什么是数据仓库 顾名思义,数据仓库是存储在一个地点的不同数据的大型集合.虽然这一名称几年前才 出现,但这个概念已经很旧了.数据仓库的主要目的是保持公司的几乎全部数据.一旦公司 的关键数据存入数据仓库,数据仓库便成为公司决策支持系统的必要部分. 假设读者有个数据仓库,保持着过去三年的销售记录,还有订货记帐,产品名称,商店 名称与地址,以及顾客年龄和城市.使用这些简单数据,就可以在三年内查找趋势并根据销 售进度作出决策.问题在于写出正确查询和尽可能快地找到答案. 为快速得到答案,数据库必须精心设计,而数据仓库的主要特点是:大而快. SQL Server在构建大型数据仓库中成为强大的竞争者.下面是这些增强特性:
■
SQL
S e r v e r拥有创建良好数据仓库所需的一切特性,许多特性在 SQL Server 7 中得到增强,使得 新的联结算法使得从数据仓库获取数据更快.
下载
■ ■ ■ ■
第30章 数据仓库和在线事务处理使用
541
存储引擎对 VLDB(Very Large Data Base)作出优化,理论上能支持数据库到 1兆TB. 有专门处理大型数据库的新工具. 增强的并行询问引擎允许在多处理机上运行一个查询,从而尽快获取所需数据的查询. 新的复制特性支持处理 VLDB.
30.2 实现数据仓库
首先,仓库的良好设计十分重要.使用高效数据库体系,可以达到出色的性能.本节的 有些要点并非专指 SQL Server,特别是关于范式的,但它们是用来显示非范式的优点的.对 于那些熟悉范式和非范式的读者,可以轻松跳过这一节. 在SQL Server 7中设计数据仓库包括下列步骤:
■ ■ ■ ■ ■
从用户,业务和技术角度确定需求. 设计和建造数据库. 加载数据到数据仓库,可能需要使用新的 DTS服务,从现有OLTP系统中提取数据. 使用OLAP工具设计和处理聚类. 查询和维护数据仓库和 OLAP数据库.
一些问题 —需求和数据库设计 — 在本节中讨论,其他问题在下面各节中讨论. 30.2.1 确定需求 整个章节都可写成讨论收集设计计算机业务解决方案的需求.收集这些需求对于软件项 目的成功是不可缺少的.在本节中将可信地讨论问题的要点,而不深入研究.需求可分为三 个主要种类:用户,业务和技术. 1. 用户需求 当收集业务解决方案的需求时,最终用户应该有相当多的要求.因此,收集这些信息的 时候,与将使用这一系统的人员交谈很重要.使用数据仓库,最终用户可以是管理员或 C E O, 希望得到及时准确的销售报表.最终用户也可以是股东,希望得到如何投资的公司性能报告. 任何情况下,用户需求可以先标识用户将其分门别类,再与其交谈,真正得知他们需要 的功能. 2. 业务需求 业务需求通常是用户需求的扩展.对业务增长的重要一点是知道当前性能并有对将来远 景的规划.这种信息可以基于先前采集和存储到数据仓库的数据.对数据仓库的适当查询提 供能用于将来计划的丰富信息. 收集业务需求使对数据仓库构造正确报表和查询,也可使数据仓库的设计更好. 3. 技术需求 技术需求通常取决于用户和业务需求.在知道数据仓库如何支持用户和业务需求后,就 可以开始设计.设计过程中,收集所需关于硬件的技术信息和最能支持这些需要的 DTS实现. 30.2.2 设计和构造数据库 尺寸是D S S和OLTP数据库的差别之一. D S S数据库可能巨大,可能达到数 T B,不能放入 内存.

下一页