元数据白皮书

元数据管理白皮书

1. 什么是元数据............................................................................................................ 3 2. 为什么需要一个元数据知识库 ................................................................................... 3

2.1. 对IT用户的价值 ............................................................................................ 4 2.2. 对商业用户的价值 .......................................................................................... 4 3. Teradata Meta Data Services 2.1 ............................................................................... 4

3.1. 环境 ............................................................................................................... 4 3.2. MDS管理元数据知识库的工具 ....................................................................... 5

3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9. 3.10.

应用信息模型（Application Information Models） .......................................... 5 安全 ............................................................................................................... 6 Teradata数据库信息模型（DIM） ................................................................... 7 Teradata数据字典扫描程序 ............................................................................. 8 DIM自动更新 ................................................................................................ 8 审计跟踪 ........................................................................................................ 8 业务元数据..................................................................................................... 9 ETL元数据 ................................................................................................. 9

3.11. MetaSurf? ................................................................................................ 10 4. 定制和扩展元数据知识库 .........................................................................................11

4.1. 4.2. 4.3. 4.4.

MetaDesigner ...............................................................................................11 C++编程接口 ................................................................................................ 12 COM编程接口 ............................................................................................. 12 XML接口 .................................................................................................... 12

5. 元数据互换 ............................................................................................................. 12

5.1. 元数据集成技术................................................................ 错误！未定义书签。 5.2. 元数据标准................................................................................................... 12 6. 本地化和国际化 ...................................................................................................... 13

1. 什么是元数据

所谓元数据，是指关于数据的数据，可以用来描述数据的类型、来源、定义、存储位置、商业规则，使得业务人员可以正确地使用数据仓库，技术人员可以使用元数据信息开发数据仓库应用、维护数据仓库的运行。

基于上面的定义我们可以知道元数据的使用者可以分为：技术用户、商业用户两类，因此元数据也可以相应的分为业务元数据（Business Metadata）、技术元数据（Technical Metadata）两类，下面分别针对这两类信息说明：

? 技术元数据（Technical Metadata）

技术元数据主要被企业IT人员（系统分析员、数据仓库管理员、数据库管理员）使用。技术元数据为企业数据仓库提供了详细的蓝图，企业IT人员可以借助这一蓝图更方便的扩展和维护数据仓库。技术元数据可以跟踪数据的流动，确定元数据来自哪里？什麽时间被加载？目标数据库是什麽？数据从源到目标移动过程中应用于该数据的技术和业务规则是什麽？通过跟踪、分析源数据加载到目标系统的过程，企业IT人员可以使用技术元数据检查数据仓库信息的准确性。此外利用已经定义的技术元数据信息企业IT人员可以分析任何涉及改变对数据仓库的影响，这样可以更快速的实施改变和后续项目。

? 商业元数据（Business Metadata）

商业元数据主要被企业业务人员使用，以他们可以理解的、简单易懂的语言描述数据仓库的对象，使他们能够不借助企业IT人员就可以找到自己需要的信息。

2. 为什么需要一个元数据知识库

很多人已经有了关于数据仓库的元数据，这些元数据可能是文档、电子表格、书面说明或是头脑中的想法。存储、定位和维护这些信息可能是很麻烦的。一个数据仓库的元数据知识库提供了一个中央存储位置，是用户可以在线访问信

息。知识库中存储了数据仓库整个处理过程中涉及到的信息，这些信息包括：数据仓库的加载，数据仓库中数据的结构，数据仓库中数据的的使用。

2.1. 对IT用户的价值

数据仓库的元数据知识库允许IT人员更有效的管理数据仓库。IT人员可以使用元数据完成下列工作：

? 消除数据冗余

? 在对数据仓库做改变之前确定改变的影响

? 确定数据使用情况，了解花费时间修改、花费空间存储的数据是否有人

使用

? 理解数据仓库的结构和关系

2.2. 对商业用户的价值

数据仓库的元数据知识库对商业用户也有很高价值。例如：商业用户可以 ? 搜索知识库查找特定的信息在数据仓库中的位置 ? 理解数据仓库中数据的含义

? 取得关于数据的进一步信息，如：数据如何被刷新？什么人拥有数据？

数据何时被修改？数据来自哪里？

? 理解数据的商业规则，如：数据的最大、最小值是什么？编码的含义？ ? 理解数据所属的业务主题是什么

3. Teradata Meta Data Services 2.1

3.1. 环境

MDS将元数据存储在Teradata数据库的一组表中。MDS软件运行在Windows（Win98/ME/NT/2000）或MP-RAS Unix系统，借助Teradata ODBC Driver访问Teradata数据库。

MDS2.1支持Teradata数据库V2R4.0.X和V2R4.1.X。

3.2. MDS管理元数据知识库的工具

MDS2.1提供了两个工具管理存储元数据德Teradata表：metacreate、metamigrate。这些工具支持Windows和Unix MP-RAS平台。

Metacreate工具在一个已定义的数据库中初始化元数据知识库，建立MDS需要的表。在初始的元数据知识库被建立以前不能进行任何MDS操作。

MDS 2.1提供了一个工具metamigrate转化低版本的MDS知识库到MDS2.1格式。这个工具自动修改所有已存在的数据（模式、对象等）以符合MDS 2.1格式。

3.3. 应用信息模型（AIM）

应用信息模型（AIM）定义了一组元数据在MDS知识库中如何存储。一个事例模型表示如下：

DatabaseHasViewsHasTablesClassDescriptionRelationshipDescriptionsClassDescriptions AIM有三类对象构成：

? 类描述（Class Descriptions）— 定义了元数据的类型。在上面的例

子里数据库、视图和表都是类描述。在知识库中类描述的实体被称为对象。 ? 属性描述（Property Descriptions）— 和类描述相关的数据域如：类

型、名称。 ? 关系描述（Relationship Descriptions）— 描述两个类之间的关系。

在上面的例子里关系描述被定义为“DatabaseHasTables”，关系在数据库对象和标对象之间建立了联系。

3.4. 安全

MDS 2.1提供了丰富的安全管理功能，可以控制不同的用户、组读、写、增加元数据对象。这些安全设定可以由MetaManager或MDS编程接口实现。

3.5. Teradata数据库信息模型（DIM）

Teradata数据库信息模型（DIM）是特定的元数据信息模型，MDS用它来存储Teradata数据库结构和内容的信息。MDS 2.1中Teradata物理元数据可以包含触发器和存储过程信息。

MDS 2.1对物理元数据提供了扩展，使得它可以存储与Teradata物理信息相关的商业信息。

Database Information ModelSubjectAreaDatabaseSystemDatabaseHasSubjectAreasSystemHasDatabasesSystemHasNodesSubjectAreaEntitiesBusinessEntityDatabaseHasEntitiesDatabaseHasRulesNodeDataBaseBusinessRuleBusEntityHasAttributesDatabaseHasViewsDatabaseOwnsDatabasesDatabaseHasTriggersBusRuleValuesBusAttrRulesBusEntityViewDatabaseHasTablesTableHasTriggersBusEntityTableColumnHasTriggersTriggerValidValuesBusinessAttributeBusAttrColumnTableDatabaseHasStoredProceduresSPReferencesTablesViewTableHasColumnsSPReferencesViewsStoredProcedureViewHasTableColumnsColumnBusAttrViewColumnViewHasColumnsSPReferencesStoredProceduresViewColumnTableHasRefConstraintsSPHasParametersSPParameterReferenceTableHasCheckConstraintsConstraintReferencesColumnsCheckReferenceColumnTableHasIndicesIndexIndexContainsColumns= New in MDS 2.1IndexColumn

3.6. Teradata数据字典扫描程序

MDS提供了一个Teradata数据字典扫描程序Metaload 以便加载Teradata系统物理元数据到知识库中。多个Teradata系统可以加载到一个单一的知识库中，知识库不必与提供元数据的Teradata在一个系统。Metaload使用Teradata ODBC Driver访问Teradata系统。

Metaload 分析数据字典的数据定义语句，建立不同对象的关系。MDS分析视图定义语句存储视图引用的表列信息；MDS分析存储过程的定义语句存储存储过程对视图、表、其它存储过程的引用；MDS分析触发器的定义语句存储触发器与表列的关系。

3.7. DIM自动更新

由于Teradata数据库物理元数据市MDS知识库的重要组成部分，因此保持最新信息动态反映Teradata系统的改变是至关重要的。MDS使用自动的DIM更新特性保持MDS知识库与Teradata系统的一致性。假如多个Teradata系统被存储在单一的知识库中，每一个Teradata系统均可被更新。

MDS提供了一个数据库服务器端的进程（Relay Services Gateway – RSG），借助RSG数据库引擎转发每一个数据定义语句到MDS，MDS分析SQL抽取出元数据改变的部分更新知识库。

在MDS 2.1中RSG运行在Windows和MP-RAS两个平台（Windows平台要求Teradata为V2R4），RSG通过TCP/IP与MDS组件DDL Gateway（运行在Windows和MP-RAS两个平台）通讯，DDL Gateway负责管理RSG和Teradata的处理信息，并调用Integrity Server修改MDS知识库。

3.8. 审计跟踪

MDS提供了维护Teradata数据定义语句改变的审计跟踪功能。审计日志存储在MDS知识库中，可以通过MetaManager浏览。

3.9. 商业元数据

MDS 2.1提供了Excel Import Utility 从Excel电子表格中加载商业元数据到商业信息类。

此外，来自数据模型工具（如：ERWin）的商业信息也可以借助Meta Integration Model Bridge (MIMB，Meta Integration Technology公司产品)加入知识库。

3.10. ETL元数据

除了物理和商业信息外，MDS还可以存储和维护ETL工具和ETL工具对物理元数据操作的信息，例如：表最后被加载的时间？什么工具用于加载此表？

客户加载模型（Client Load Model）被用来存储此类信息，这个模型将维护从加载脚本抽取出的元数据与Teradata数据库信息模型中表、列等对象的关系，如：此脚本对那个表操作。

MDS工具Metaclient 将扫描Mulitload、Fastload和Tpump脚本和输出文件，抽取信息加入知识库，同时建立脚本与Teradata数据库信息模型中表、列等对象的关系。这个工具运行在Windows和MP-RAS Unix上。

Client Load ModelScriptScriptHasSourcesScriptHasTargetsSourceSourceTypeINMODRoutineStartRecordRangeEndRecordRangeRecordFormatIndicatorBitsVersionIDScriptQualifierOutputFileNameLoadUtilitySessCharSetScriptLevelDDLUsedProcessorTimeHighestReturnCodeCompletionStatusStartTimeStartDateEndTimeEndDateTargetTargetTypeTargetSystemNameTargetDatabaseNameTargetLevelDDLUsedTargetLevelDMLUsedNbrRecordsReadNbrRecsSentToTDNbrRecordsDeletedNbrRecordsInsertedNbrRecordsSkippedNbrRecordsUpdatedNbrErrorsTbl1NbrErrorsTbl2ScriptLoadsDIMViewsScriptLoadsDIMTablesSourceUpdatesDIMTablesTableSourceUpdatesDIMViewsViewDatabaseInformation ModelSourceHasSourceFieldsSourceFieldSourceFieldUpdatesDIMColumnsColumnDataTypeDataLengthRecLayoutNameViewColumnSourceFieldUpdatesDIMViewColumns

3.11. MetaSurf?

MetaSurf?提供了一个标准的、易于使用的Web界面，IT或商业用户可以通过此界面搜索、向下挖掘元数据知识库中的信息。MDS 2.1 MetaSurf?有下列功能：

? 搜索结果可分多页显示

? 提供了使用布尔逻辑进行高级搜索的能力 ? 提供了关键字检索的能力 ? 在线编辑描述信息

MetaSurf?使用Active Server Pages 和 VB Scripting建立，这些脚本借助MDS COM接口访问MDS知识库。

4. 定制和扩展元数据知识库

MDS不仅提供了元数据模型管理Teradata物理和商业信息，而且还提供了一个框架使得最终用户可以定制和扩展元数据信息。

4.1. MetaDesigner

MetaDesigner 是一个Windows应用程序，它提供了易于使用的图形化界面。

用户可以通过MetaDesigner 在MDS知识库中定义新的类、关系和属性。

4.2. C++编程接口

MDS提供的面向对象的编程接口，允许创建模型，定义类、类之间的关系，同时他也提供了编程接口增加、修改和删除元数据。C++编程接口在Windows和Unix MP-RAS两个平台有效。

4.3. COM编程接口

除了C++编程接口，MDS还提供了COM编程接口，MDS COM是一个脚本化的OLE自动化对象编程接口，接口允许其他应用程序或编程工具访问MDS知识库中的元数据。借助OLE自动化接口，一些应用程序，如：Office可以使用VB访问和浏览MDS知识库。COM编程接口只在Windows平台有效。

4.4. XML接口

C++和COM均为编程接口，为了易于使用，消除编程要求，MDS提供了XML工具

MetaXML。MetaXML将读取XML格式的ASCII文件，分析内容，调用MDS C++接口执行相关操作。MetaXML除了可以加载元数据进入MDS知识库外还可以建立新的类、关系、属性。MetaXML只在Windows平台有效。

5. 元数据互换

5.1. Meta Integration Technology

Meta Integration Technology提供了在不同工具之间移动元数据的功能,它可以实现MDS和其它工具的元数据交换。

5.2. 元数据标准

目前有两个标准化组织制定元数据的标准（the Object Management Group – OMG and

the Metadata Coalition – MDC），NCR是OMG的成员。

6. 本地化和国际化

MDS是国际化的软件，它提供了Kanji SHIFT-JIS、Kanji EUC和8位字符集的支持。资源文件和对话框支持日文显示，MDS可以被本地化为其它语言。

本文来源：https://www.bwwdw.com/article/kexg.html