互联网报警处置系统中WEB数据抽取子系统的设计与实现

随着Internet的飞速发展，Web已经发展成为一个巨大的、分布广泛、资源共享的全球化信息网络，网络上的各种资源异常丰富，信息量非常庞大，但目前Web数据大都以HTML的形式出现。HTML形式表示的数据不利于信息的快速查找和自动处理。如何快速、准确地从浩瀚的信息资源中提取出用户所需要的信息已经成为一个亟待解决的课题。本文介绍了互联网报警处置系统的项目背景，阐明了互联网报警处置系统的框架和功能，分析了互联网报警处置系统数据源的特点，根据数据源的特点和系统的数据处理模式，提出了本系统的WEB数据抽取方式，采用面向对象的系统分析方法和设计方法设计了WEB抽取平台的框架。本文将WEB抽取平台分为三大部分：网页预处理部分、抽取规则生成及优化部分和抽取执行部分。在互联网报警处置系统的WEB数据抽取平台中增设了网页预处理环节，网页预处理环节的加入，降低了数据抽取规则的复杂度，增强了数据抽取平台的健壮性，只要网页主体部分不发生变化，就能保证抽取结果的正确性；将规则生成和抽取执行部分分开，也使得系统的扩展性和可维护更强。WEB抽取平台将互联网报警处置的子系统获取的大量非结构网页数据转化成结构化数据，为互联网报警处置数据仓库的数据挖掘和决策支持系统提供了良好的数据支持。