以XML为基础的Web数据挖掘技术系统的框架设计与实现

摘 要

随着Internet的广泛应用，Web数据挖掘技术成为相关领域的研究热点之一，但Web数据控制的复杂性限制了该技术的发展。XML的应用为解决Web数据挖掘技术难题带来了契机。本文针对Web数据挖掘的特点，分析了XML在Web数据挖掘技术中的应用优势，并就以XML为基础的Web数据挖掘技术系统框架进行了分析。

【关键词】XML Web数据挖掘技术 框架

对于传统数据挖掘而言，其对象多为数据仓库中较为规则化的数据，对此类数据已经有些力不从心。W3C所开发的XML属于半结构化数据模型，具有树形结构、自描述等多种特点，可以使源于不同结构的数据有效结合起来，不仅兼容了传统Web应用，还实现了Web信息的交换与共享，因而为Web数据挖掘技术带来了极佳的中间载体，有效解决了Web数据挖掘的难点。

1 Web数据挖掘技术的特点及XML的应用优势分析

Web数据挖掘技术是借助于数据挖掘技术，从Web网络中寻找并获取信息，数据挖掘的对象即Web上各种文档及用户访问信息。该技术的特点如下：1）数据库环境异构化。从数据库角度而言，Web网站信息即为一个数据库，各站点即一个数据源，各数据源均为异构化，因而共同构成了庞大的异构化数据库环境；2）数据结构半结构化。Web数据异常复杂，并没有固定的模型描述，各站点数据均独立设计，且数据自身动态可变；3）需要解决数据源半结构化的问题。要想解决这一问题，需要一个模型对Web数据进行清晰描述，还需借助于一种自动从数据中将半结构化模型进行抽取的技术。

XML属于半结构化模型，因而极易将XML文档描述同数据库属性进行一一对应，便于有效查询及模型抽取，因此，XML的应用有效解决了Web数据挖掘技术的难点。XML提供了结构及语义信息，便于服务器对各类信息进行即时处理，XML并没有固定性的标记，因而可以对数据形式及结构进行准确描述，并将数据与显示形式有效分开，便于实现数据共享与网络应用。XML强大的扩展性及自定义性，使其能够充分表达各类数据，用户接收数据后可进行有效处理，也可在各数据库间传递，解决了数据统一接口方面的问题，为Web数据挖掘技术的应用提供了有利条件。

2 基于XML的Web数据挖掘技术系统框架的构建

首先，需要将非XML格式的页面转变为XML格式，再以用户需求为依据，构建相应的模型，并对XML网页进行分类与存储，挖掘出同用户兴趣相符的数据信息。为了有效提升系统整体性能，并为数据挖掘提供良好的集成环境，需要将系统原型分为三大逻辑层次，即数据获取层、存储层与挖掘层。获取层主要负责对半结构化数据进行转换及抽取，构建多层次Web数据库，并处理服务器日志数据，形成相应的日志数据库；存储层则将非XML格式的网页转换成XML格式，并存储网页信息库；挖掘层为核心层，负责提供数据挖掘方案及算法，以用户兴趣模型为依据，挖掘用户所需信息，完成数据挖掘的任务。

2.1 系统框架设计

系统包括四大模块，不同模块的功能相对独立，又互相联系。（1）用户界面模块为用户与系统之间的交互提供了接口，用户可先对挖掘参数进行设置，在提交挖掘请求，并根据结果进行评估；（2）预处理模块负责对网页数据构建半结构化模型，并将其特征元数据进行抽取，利用结构化形式予以保存，构建以Web为基础的多层数据库，体现文档集合的特点。其中，日志预处理器模块负责对日志数据进行过滤、转换等，将其转变成易于处理的结构，形成数据库，便于用户对数据进行全面分析。数据转换与抽取模块负责利用XML对Web文档进行处理，构建半结构化模型，对元数据进行抽取和存储，将非XML代码的网页利用TIDY软件转变成XML格式，以便挖掘。用户兴趣建模模块为用户提供了个性化的服务检索及数据过滤系统，会对用户兴趣进行跟踪，为各用户构建相应的个性化描述文件，储存用户兴趣。特征向量生成器模块负责结合网页特点抽取特征，确保文档特征向量同用户兴趣模型向量保持一致；（3）数据挖掘模块包括挖掘器和方法驱动模块，前者属于数据挖掘驱动引擎，由于各种挖掘算法适用于不同情况，因此，挖掘器负责以相关要求为依据，对挖掘方法进行选择，以更好地执行数据挖掘任务。后者利用所挖掘的信息，对Web页面内容进行修订，改进服务设计等，为用户提供个性化的界面和服务；（4）结果评估模块负责对结果进行评价，并为用户推荐其可能感兴趣的网页。

2.2 系统优点分析

（1）利用Tidy工具有效将非XML代码的文档转变为了XML文档；

（2）构建了用户兴趣模型，有效描述了用户所需信息，可以为不同用户提供个性化的服务信息及检索内容，满足了各类用户群体的不同需求；

（3）用户可自行设置挖掘参数，对挖掘结果进行评估，有效提高了用户同系统之间的交互性，使系统方便地完成数据挖掘任务。

3 结语

Web数据挖掘技术较数据库挖掘技术而言要复杂得多，XML有效解决了面向Web的数据挖掘难题，XML使来源不同的结构化数据进行了有效结合，为多样化难兼容数据库的搜索带来了可能，有效解决了Web数据挖掘技术性难题。此外，XML强大的扩展性与灵活性，允许XML对各种应用软件数据进行合理描述，便于对所搜集到的Web数据记录进行描述，因而为软件开发人员、Web终端及站点使用人员提供了有利的条件。

参考文献

[1]Jiawei Han，Micheline Kamber（著）.范明，孟小峰（译）.数据挖掘概念与技术[M].北京：机械工业出版社，2009.

[2]曼丽春.Web数据挖掘研究与探讨[J].西南民族人学学报（自然科学版），2012 （02）：305-308.

[3]王泽彬，金飞，李夏等.Web数据挖掘技术及实现[J].哈尔滨工业大学学报，2005，37（10）：1403-1405.

作者单位

1.江西宜春职业技术学院护理学院 江西省宜春市 336000

2.江西宜春职业技术学院信息工程系 江西省宜春市 336000