基于数据仓库与数据挖掘技术的决策支持系统

数据挖掘

计算机时代

年第

期鲡姗姗黝撇燃撇姗溯姗娜

技术交流

基于数据仓库与数据挖掘技术的决策支持系统玉门石油管理局信息中心摘要,

陈

楠

关锥词

数据仓库是数据库技术应用的拓展建立在数据仓库墓础上的数据挖掘技术为决策支持系统提供了新的解决方案本文对数据仓库和数据挖掘技术及其在决策支持系统中的应用进行了分析与探讨教据仓库数据挖掘联机分析处理多维数据库。。

一概述今天越来越多的企业认识到要从以往的事务处理和决策中总结经验利用现有的数据进行分析和推理建立企业的决策支持系统立数据仓库兀石以提高决策的质量,,

、

数据不能转化为有用的信息,

二

通常需要一段历史,

,

时期的数据来分析趋势而数据库一般只存储短期数据且各个应用领域的保存期限各不相同大量的内外运行数据不能转化为管理决策信息为,

、

,

。

企业如果不能快速。

石

服务,

。

精确地收集和分析信息将无法进行科学而有效的决策

建

为了克服数据库上述弊端人们开始尝试对数据库中的

压

将能很好地解决这一问题使企、

,

原始数据进行再加工形成一个综合的面向分析的环境以支持决策的产生由此数据仓库的思想开始形成,,

、

业从大量的业务信息中筛选出所需的信息并做出正确的决

。

数据仓库的、

策

。

基本思想是在数据库技术的基础上快速高效地将决策支持

、

数据仓库不是单一的产品而是综合了多种信息技术的计算环境,

,

所需的信息从企业的日常运行数据中分离出来分散的难以访问的数据经过归纳综合分析后转化为集中统一随时可,

,

。

它将全企业的运行数据汇集到一个精心设计的关,

、

、

、

系数据库中并将它们转换成面向主题乳行访问和分析、

一

丽

己的

用的管理决策信息、

。

数据仓库是大量集成化数据的集合它。、

、

形式使最终用户可以很容易地从历史的角度对这些数据进。

的主体由关系数据库构成

三数据仓库的结构功能与创建,,

以银行为例通常银行的应用系统是按业务分类的如,

数据仓库的基本结构

储蓄信贷信用卡等一个客户的信息分布在不同的业务系统之

中要想得到一个客户的全面信息非常困难,,

、

、

数据仓库中的信息存储根据对数据的不同深度的分析,

。

银行通过,

处理而区分为不同的层次其基本结构分为以下几个部分,

建立数据仓库可以将分离在各个业务系统中的数据合并成一个统一的图表这样就可以看到客户在各个系统中的全貌,

历史性详细数据层、、、

它存储历史数据用于数据对比。

,

、

回归汇总等供分析建模预测之用,

历史数据一般为。,

至

而且可以从历史的角度对客户档案进行分析以便作出为每

年或更久的数据它纵向只对数据信息进行分类存储解当前情况是进一步分析数据的基础,

一个客户进一步服务的决策、

。

当前详细数据层存储当前最新详细数据重点用于了。

二数据库与数据仓库传统的数据库管理系统,

在一定时刻这些数,

,

通常是建立在以数据库已、、

为基础的关系,

据会转移到历史数据层去

。

上但是随着企业的发展存储的,

不同程序的归纳总结信息层可包含多个层次根据所

数据量越来越大查询越来越复杂暴露出传统数据库的许多弊端

芡石

需分类和归纳的不同深度而定,

。

如按周月年统计的数据,

、

、

。

这些信息只是一些简单的汇总尚不能形成高级的决策信息、

。

数据缺乏组织性数据库中存储的是大量的运行数据巴冲

专’业分析信息层进一步专业分析的结果如统计分

它们来自各部门日常操作产生的明细数据,

,

析运筹分析时间序列分析以及表面数据的内在规律分析等。

、

、

这些数据实际是一种原始数据而、、

咫需要的是对这些原始一步分类合并整理和分析后产生的有组织的信息数据进。

仓库结构信息数据仓库的内部结构信息反映各种信,

效据访问效率低企业在每一阶段的业务都积累了大量的数据、

息在数据仓库中的位置分布和处理方式等以便检索查询之,

,

是面向应用事务驱动的,,,

、

。

应用本来就是千,

用

。

差万别零繁琐碎的而且为了提高性能数据还常常被分布

组织数据仓库的数据时应根据数据访问概率把数据分

,

在多个子系统中使得更难以进行理数据,

对这些数据的访问十分困难。

为经常

被访问但较少被修改的数据和经常被修改但较少被访对于前者可以做较多的索引一般可做至个来提高访问的效率对于后者就必须少建索引否则由于

贬所需要的快速分析石〕,

问的数据

。

数据处理效率低企业的综合分析使管理信息系统,

需要高质量非原始的管的作用不能充分体现影,

,

,

不能提供数据分析大量的数据不能得到及时。

它经常被修改重索引的概率就很大反而会降低系统的效

,

,

率

。

响了数据处理的效率

数据仓库的功能特点

数据挖掘

已剐甲了万

专

朴比份舞添长

您公斌洲

技术交流现它不仅需要开发人员系统分析人员和管理者的密切合作,

数据仓库的主要功能是提供企业决策支持系统或执行信

、

息系统,

所需要的信息它把企业日常运行中分散不一致,、

与交流而且整个过程是在不断反馈和循环中实施的,,

,

。

可以

的数据经归纳整理后转换为集中统一的可随时取用的深层

说离开了管理和管理人员数据仓库就无法建立和动作

信息这种信息虽然也是按关系数据库的存储结构存储的但与面向逐条记录的联机事务处理,

,

四建立数据仓库的关键技术数据仓库的建立和应用需要多方面的技术和产品支持是一个综合性的技术集成过程、,

、

不同在数据仓库、

,

中的一条记录有可能是基础数据中若千个表若干条记录的归纳和汇总。

。

与数据仓库相关的技术主要,

有高性能数据库技术联机分析处理,库,

技术多维数据、

、

数据仓库的基本特点是面向对象性。

肋

,

一。

以

,

压

说技术数据挖掘

派

数据仓库中存储的信息是面向主题来组、

技术等

织的

。

它根据所需要的信息分不同类不同角度等主题把数、

高性能数据库技术数据仓库需要以下高性能数据库技术的支持川高性能数据库服务器技术。

据加工整理之后存储起来按横向对数据进行分类存储升毅据历史性,

。

数据仓库中可以专门存储,

至、

年或

更久的历史数据数据其有时间标示以满足信息比较分析

数据仓库的应用不同于传统数据库,

应用,

传统数

预测等的数据需求按纵向对数据进行分类存储数据集成性一致性的特点。。,,

。

据库的应用是操作型的是面向

应用和事务驱动的而数据仓库的应用是分析型的是面向决策和信息驱动的,

无论数据来源于何处进人数据仓库后

。

它需要高。

都具有统一的数据结构和编码规则数据仓库中的数据具有

性能的,

核心,

。

的支持以便进行大量的信息处虽然比、

理较快地产生分析结果这通常需要数秒至数分钟。

数据只读性卜开发的圣石或,

数据仓库是一个信息源它只是为在其等提供信息服务因此它应是只读数据,、

,

丁

的响应时间长但由于分析型应用涉及的数据量大查,,

询要求复杂因此对

核心的性能要求比〔即应用要必须具有良好的查询优化机制刁

库一般不能轻易改动只能定期刷新操作集合性数据仓库可通过快照机制成批地更新。,

。

求更高同时要求,,

阁并行数据库新的数据进入仓库。

日

肠,

叉

伙技术,

来自不同资源的数据将其载入数据仓库也可以成批地访间,

数据仓库中的数据量很大而且随着时间的推移不断有数据仓库中的数据库通常是

数据

。

甚至是,

客户机服务器性数据仓库通过定义信息元信息把整个数据组织起来在元信息中有一类记录系。

句应用

。

仆级的可以说是超大规模数据库术可以有效地存储和管理杂查询处理的功能,

,

殆

并行数据库技

,

同时具有对。

进行复

统信息定义了数据存储修改权限等记录系统将原始数据,

、

,

是管理数据仓库的重要〔具

丫转换成适合于数据仓库应用的数据所以这实际上是〔应,

洲数据互操作技术数据仓库中的数据大部分来自企业或行业的运行数据库或外部数据库件系统中的数据、,

用模式

。

橄仓库的创建数据仓库的创建是一个复杂的系统过程将会面很大的投资风险在得到回报之前要经历一个长期的不断反馈的循环过程一旦成功地建立数据仓库后将给企业带来丰厚的,

这些数据库常常是异构的甚至是文,

,

,

、

数据仓库必须从这共异构的数据源中定期抽取转换和集成所需要的数据并把它们存入数据仓库中。

。

,

,

因此异构数据源之间的互访和互操作技术是必需的以几,

。

效益

。

高性能数据库技术口趋成熟为数据仓库的应用提。。

创建数据仓库首先要对

所有的原始数据进行筛选去

,

掉与以粥无关的数据

。

对数据进行转化使其满足数据仓库的格式,

。

主要内

管理和控制供了技术保证数据仓库仍可由传统的联机分析处理技术由于数据仓库是分析型应用需要对大量的数据进行对,

容有①对获取的快照数据进行集运算②数据库分割③填写偏缺值和预测值④数据结构和格式的转换⑤提取样本

比综合归纳和预测分析要求对数据进行联机分析处理

、

、

,

。

而〕

技术具有灵活的分析功能直观的数据操作分析结,

、

、

值⑥码值与可读值的转换⑦度徽测度转化⑧记录及记编录字段的调整⑨检查数据的完整性和相容性⑩给原始数据和导出数据加上时间标志。

果可视化表示等突出优点特别能满足数据仓库的这一需求,

。

通过面向对象方式组织数据以多维数据结构存储数

据,,,

仁

几、

采用的是多维分析方法包括复杂计算时间序列、、,

,

、

卿完成数据的整理和变换后系统进行数据的分层处理的数据经过整理后数据首先进人当前详细数据层在期后这些数据会转移到历史数据层去,,、

趋势分析视图分片深入访问视区旋转等技术使用户对大量复杂数据的分析变得轻松而高效目前,

以满足数据仓库体系结构的要求主要工作是从数据源析取,

。

一

定时、

户于

工具可分为两大类一类是基于多维数据库。

、

这些数据经过分析、

的

,

一

类是基于关系数据库的

前者是把需要分析的数据从,

总结后一部分进人总结数据层最后进人高级决策层

数据仓库中抽取出来组成多维数据库为用户提供多维数据视图后者是用关系表来模拟多维数据并不物理地组成多维,

通过数据仓库工具把处理后的数据加载到相应的数据

库中去为不同的应用决策用户服务,

。

数据库

。

管理的重要性在构建数据仓库的过程中得到充分的体

多维数据库技术

数据挖掘

计算机时代卯年第

期

姗黝

粉

飞芳戚摄获雄要珠岌雌漏未磁姿旅茱燕湘

漆粉筹嫌杯确痴燕熟头琪称

技术交流

数据仓库中的操作细节数据一般是用,

进行管。

的决策

。

理但对于综合性数据主要是用多维数据库技术来管理

,

多所。

五基于数据仓库与数据挖掘技术的更

石创建数据仓库的目的是为企业的的决策依据。,

、

维数据库技术包括多维数据视图和多维数据库两个方面,,

。

跳和

提供科学。

谓维是人们观察现实世界的角度决策分析需要从不同的角度观察分析数据多维数据库是以多维方式来组织数据的

数据仓库用于大量数据存储和组织数据挖掘数据,

例如某集团公司的产品销售统计表如表表产品名称螺毋螺母螺毋坏钉地区匕东减

,

所示

。

用于从大量的数据中发现知识为用户进行预测决策

挖掘以数据仓库和多维数据库为基础通过,

八

和多维分

…‘

稍售童螺母螺钉螺检垫圈

。西。华北东习

…

总和

析工具自动发现数据中的潜在模式并以这些模式为基础自

动作出预测巧

。

数据仓库与数据挖掘技术的结合为企业、

西北匕华月

和加

的建立提供了新的更有效的解决方案。

。

图

表明了

这种方案的一种结构

东北西北

螺打螺打蛛栓蛛栓螺栓

的

总和

,

‘

华匕东匕西北

工具层

应用

这是传统扛,

的数据组。

织形式它是用关系表来表达产品和地区所度量的销售情况更

区迹童医至医夔垂五国奎牛冬杏信忽毒攀一

华北东北西北

垫圈垫圈垫圈,

清晰地表达这些数据的方法是将其组织成表,

去

华北

所示的二维矩阵。

。

睡匡座延压鲍一咏查座,鱼卜转集成个换

医终守叫刷新加载、

个综合

个个个

这就是多维数据库中的数据组织形式不仅简单明了而且明显地减少了占用的存储空间

在表,,

中如果要查询东北地区的销售总量只要逐条记,,

录检索找到满足条件的记录后再逐个相加,

。

而在多维数据

翎层据数

翎

库中数据可以直接按行或列累加因而其统计速度远远超过犯凡在大量数据聚集的数据仓库中这种优势更为明显。,

医夏耍画晦个奋

蔽睡座

阮死厄镰

一

阵部及非

‘

作敬舞

结构化戮铡

事蚤处理应

用

数据仓库中的维一般均包含着层次关系如上例中的地,

图

贬石应用的一种体系结构

区维就包含着销童总和各地区销量总和两个层次,

、

。

有时维、

中的层次关系相当复杂比如产品可以按照型号颜色产地,

、

六结束语数据仓库是大量集成化数据集合数据仓库系统是

多种技术的综合体是数据库技术的一种新的应用的数据只有通过数据挖掘技术才能变为混的信息发挥数据宝库的作用,,,

、

,

等进行汇总从而形成多个层次关系,,

。

多维数据库在进行数。

。

据综合时能够自动按层次关系进行统计

数据仓库中真正有用产品

在多维数据库或数据仓库中时间是最普遍的一个维,,

。

几乎每个用户都希望掌握事物的趋势包括销售趋势市场趋

、

目前大多数的、

,

势金融趋势等等、

、

。

在数据仓库方面的进展主要是在信息集成高性能的复杂查询技术并行技术和新的索引技术等以及前端客户产品如。

数据挖掘技术。

数据挖掘是一种从大型数据库如数据仓库中提取隐藏的预测性信息的新技术,

数据浏览器和查看元数据等方面改进其产品,,

数据仓库不

数据挖掘是一种展望和预测性的信,、

是对数据库的替代相反数据仓库中的数据还是用

息分析工具它能挖掘数据间潜在的关系模式发现用户可能忽略的信息为企业管理者提供前摄的的决策。,

来管理的

。

基于数据仓库与数据挖掘技术的。,

婴为智能决

,

基于知识

策支持系统的发展奠定了基础、

此外数据仓库与数据挖掘、、

技术将会在金融系统机械制造档案管理财务分析以及数据库的其它领域得到广泛的应用参考文献赖福军周婷《据仓序及其本关技术》软件世界数,,

。

数据挖掘技术使步。

关洛

的应用向效益型迈出了重要的一

传统的

通常是在某个假设的前提下通过数据查询,

和分析来验证或否定这个假设而数据挖掘技术则能够自动

王珊工

数据仓库联机分析处理数据挖掘》计算机世界报》一

,

分析数据进行归纳性推理从中发掘出潜在模式或产生联想建立新的业务模型帮助决策者调整市场策略作出正确,

,

,

,

,

本文来源：https://www.bwwdw.com/article/y2ym.html