基于Heritrix的Web信息抽取(4)

团雪jf ff根工作>>

第{宙》卷第O期.. 20 009年5月

表达HTML。Node是形成树结构表示.. HTML的基础， 所有的数据表示都是接口Noe的实现；btatoe

dAsrcNd

是Node的一种具体的类实现，起到构成树形结构的作 用；而Tag则是具体分析的主要内容。HTML封装了.. I／，：s—

O节点解析处理提供了两种访问节点的方法Viitoritr

模式和Fle模式。这两种模式都可以用来实现页 面清洗功能。Fitr对

le模式通过设定一定的过滤条件，

每个节点进行过滤，返回一个符合规则的节点列表。 而Visitor模式则是遍历提取信息，当然这个信息可以 包括某些节点或者从节点分析出来的更有效的信息。

相比之下，笔者认为Fle模式的目标更为明确， itr

就是提取节点，所以本系统采用Fle模式来实现页面 itr

清洗模块。在具体代码实现上，HTMLpalser的org．htmlasrfles6 种.. Fle，

pre．itr包中已经定义了1itr在自定义

清洗规则时根据需求构造自己的fitr然后运行过滤， le，

就可以精确地过滤出不同字段信息了。..

4．3数据库模块

数据库模块的主要功能是数据的持久化保存，为

后续对信息的处理和加工提供方便。将数据库操作作 为一个独立模块是出于系统的健壮性和移植性考虑，

如果将数据库操作直接放在页面清洗模块，必将使得 模块代码过于庞杂，不符合分层的思想，而且不能很好 地适应Web信息动态变化的特点。该模块的具体策 略可根据实际需求来确定，对系统的性能影响不大。 S结

如何从.. Web信息中准确挖掘到有价值的信息是

至关重要的。本文提出并实现了一种.. HeirxM

rti和HT —..

Lparser相结合的web信息精确抽取的方法，用分层与 模块分治的思想设计了对应的系统，并且对逸仙时空.. BBS进行了试验采集和抽取。较之以往的方法，本文 所倡导的思路有以下特点：①抽取的精确度高，可以根 据数据库表的字段进行最小单位的信息抽取；②可扩 展性强，针对不同需求，用户只需在对应模块内进行修 改，各模块间互不影响。③抽取速度快，各模块可并行 工作，且页面清洗都是针对本地的目标页面，从而极大 地提高了抽取速度。随着计算机网络在国内的迅速普 及，Web信息抽取技术会变得越来越重要，希望越来越 多的研究人员能够参与其中，从而使得.. Web抽取技术 的自动化程度和准确度越来越高。 参考文献：..

[1]蒲筱哥．基于Web的信息抽取技术研究综述．现代情报，2007 (10)：215—219．..

[2]火善栋．基于网页结构特征的网页主要文本信息抽取策略．现 代计算机(专业版)，20 008(4)：73—75．..

[3]金砚硕，迟呈英，战学刚．一种基于隐马尔可夫聚类的信息提 取方法．情报杂志，2008(3)：96—98．..

[4]冀高峰，汤庸，道炜．基于XML的自动学习Web信息抽取．计 算机科学，2008(3)：87—90．..

[5]苏新宁，信息检索理论与技术．北京：科学技术文献出版社，.. 2004：273—355．..

[6]邱哲，符滔滔．开发自己的搜索引擎．北京：人民邮电出版社，.. 2007：301—337．..

[7]Hfti—oepg．[07—0O]ht tt：／rwe．rhv．

eirxhmae206—1．.. p／calracie

org／．..

[8]HTMLasrhmae[07一o 5]p／tpre． pre—oepg206—1．ht

tt：／hmlasrsourceforge．net／．..

[作者简介]陈俊彬，男，1986年生，发表论文2篇；曹树金，男，1962年生，教授，发表论文60篇。..

(上接第.. 104页)

态匹配检索研究，并以图书检索为例，不仅可以根据用 户的请求实时刷新下拉列表，而且还能获取数据库中 没有的用户请求，从而为改善用户体验，丰富网站内容 提供有价值的参考建议。

参考文献：..

[1]顾留碗，白世彪，戴仕宝．基于AJAX技术的WebGIS客户端解 决方案研究．地理空间信息，2008，6(1)：59—61．.. [2]AlsnR，ShaNT等译．.. ／X基础教程．人民 seocut

tt．金灵，AjI北京： 邮电出版社，2006．..

[3]FlpCD，Tsrnae，t1王德民，，译． iioaC，BizraBea．王新颖刘听，

AjaxandPHPweh开发．北京：人民邮电出版社，20 007．..

[4]简单分析Golug ggs206—2．ht tt：／

ogeSet的原理．[08—00]p／

webdn．trueself．cn／archives／248．..

[5]赵永屹，宿红毅，胡韶辉．结合AJAX与J2EE技术的WEB信息检 索系统的设计与实现．微计算机信息，20 006，2

22(9-3)：149—151．..

[作者简介]吴江寿，男，1982年生，硕士研究生，发表论文5篇；刘世洪，男，1960年生，研究员，博士，硕士生导师，

发表论文50余篇；苏晓路，女，1961年生，研究员，硕士生导师，发表论文20余篇；郑火国，男，1979年

生，助理研究员，发表论文10余篇。..

115