Design and Implementatin of Data Integration System Based on Metadata

数据集成是当今信息社会的必然需求，人们迫切需要从海量的数据获取宝贵的信息资源，以供科学管理及决策分析，而数据集成是其中最关键的步骤。数据集成主要用来解决数据的一致性，集成化问题，使我们能够从不同的业务系统和应用环境中获取数据，并进行高效的转换，清洗，成为数据分析系统期望数据，因而数据集成技术的研究具有重要意义。本文对数据集成技术进行了相关的探索，提出来一种基于元数据的设计和实现方法。本文首先研究了数据集成本身存在的关键问题和难点，然后对当前国内外数据集成技术的研究状况进行了分析，进而提出了基于元数据技术，工作流技术以及插件机制三者结合的数据集成技术实现方案。该方案把整个数据集成过程需要的各个处理规则节点进行插件式封装，由它们组成灵活的的工作流，并把整个任务进行元数据描述，然后通过集成引擎解释元数据描述文件，执行相应处理规则，从而达到数据集成的目的。本文的核心内容是元数据机制、工作流机制和插件机制在数据集成工具中的应用设计与实现，这也是本文的创新之处，具体包括有系统元模型的设计、数据流控制模型的设计、系统体系结构设计以及系统的详细设计与实现等。其中，还构建了支持拖拽的流程建模工具，提高系统的易用性和可操作性。本文的重点在弥补现有工具的一些不足，提高数据集成工具的扩展性、高效性、灵活性以及易操作性，并在保证工具具有良好的数据集成功能的同时，能提供良好的柔性支持，且有效降低成本。本文研究和设计的数据集成工具已经具备了的数据集成的基本功能，具有实际的应用价值，只要进行简单的扩展，便可应用到不同的领域