论基于Java的全文检索实现和索引性能提高

论基于Java的全文检索实现和索引性能提高

第２７卷第１期

２００９年３月Ｊｏｕｒｎａｌ０ｆ湖北民族学院学报（自然科学版）ＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙｆｏｒＮａｔｉｏｎａｌｉｔｉｅｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）Ｖ０１．２７Ｎｏ．１Ｍ盯．２００９

论基于Ｊａｖａ的全文检索实现和索引性能提高

汪涛

（湖北民族学院理学院，湖北恩施４４５０００）

摘要：当今搜索引擎已经成为人们在网上搜索信息的重要工具，分析索引机静ｊ榘构和全文检索系统结构，探讨

了实现Ｔｏｍｃａｔ＋ＪｓＰ＋Ｌｕｃｅｎｅ的运作流程和核心代码，对如何提高索引性能进行了研究．

关键词：全文检索；Ｊａｖａ；Ｌｕｃｅｎｅ；索引机制；索引性能

中图分类号：ＴＰ３１２文献标识码：Ａ文章编号：１００８—８４２３（２００９）０１－００４９—０３

ＯｎＦｕｌｌｔｅｘｔＲｅｔｒｉｅｖａｌＩｍｐｌｅｍｅｎｔａｎｄＩｍｐｒｏｖｅｍｅｎｔｏｆ

ＰｅｒｆｏｒｍａｎｃｅｏｆＩｎｄｅｘＢａｓｅｄ

ＷＡＮＧＴａｎｏｎＪａｖａ

（ＳｃｈｏｏｌｏｆＳｃｉｅｎｃｅ，ＨｕｂｅｉＵｎｉｖｅｒｓｉｔｙｆｏｒＮａｔｉｏｎａｌｉｔｉｅｓ，Ｅｎｓｈｉ４４５０００，Ｃｈｉｎａ）

ｔｏＡｂｓｔｒａｃｔ：Ｓｅａｒｃｈｅｎｇｉｎｅｉｓ肌ｉｍｐｏｒｔａｎｔｔｏｏｌｆｏｒｐｅｏｐｌｅ

ｃｈｉｔｅｃｔｕｒｅｏｆｉｎｄｅｘ—ｍｅｃｈａｎｉｓｍａｎｄｓｙｓｔｅｍ

ｄｕｒｅａｎｄｋｅｒｎｅｌ￥ｏｕｒｃｅｓｂａｓｅｄ

ｏｆｉｎｄｅｘ．

Ｋｅｙｗｏｒｄｓ：ｆｕｌｌｔｅｘｔｏｎｓｔｒｕｃｔｕｒｅｓｅａｒｃｈｏｎ／ｎｔｅｍｅｔ．’１１ｌｉｓａｒｔｉｃｌｅａｎａｌｙｚｅｓｔｈｅ８１＂－ｏｆｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌ，ｉｎｔｒｏｄｕｃｅｓｔｈｅｏｐｅｒａｔｉｎｇ—ｐｒｏｃｅ－ｔｏＴｏｍｃａｔ＋ＪＳＰ＋Ｌｕｃｅｎｅａｎｄｄｉｓｃｕｓｓｅｓｈｏｗｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｒｅｔｒｉｅｖａｌ；ｊａｖａ；Ｌｕｃｅｎｅ；ｉｎｄｅｘ—－ｍｅｃｈａｎｉｓｍ；ｐｅｒｆｏｒｍａｎｃｅｏｆｉｎｄｅｘ

Ｉｎｔｅｍｅｔ的资源迅速增长，使Ｗｅｂ发展成为包含多种信息资源、站点遍布全球的海量信息服务网络．同是，也有越来越多的机构、团队和个人在Ｉｎｔｅｍｅｔ用搜索引擎查询信息…．因此，搜索引擎性能的提高成为搜索引擎开发的重要环节．

１全文检索系统的机制

全文检索系统是按照全文检索理论建立起来的用于提供全文检索服务的软件系统，由索引引擎、查询引擎、文本分析引擎、对外接口及各种外围应用系统等共同构成．其系统结构详见图１．

１．１全文检索系统的核，厶－－Ｌｕｃｅｎｅ

Ｌｕｃｅｎｅ是ＡｐａｃｈｅＪａｋａｒｔａ家族中的一个开放源代码项

目，它不是一个完整的搜索应用程序，而是基于Ｊａｖａ的全文

信息检索工具包【２１．Ｌｕｃｅｎｅ能够为文本类型的数据建立索

引，因此其工作原理是将其它数据格式经解析转化为文本，再

由Ｌｕｃｅｎｅ分词器提取出索引项以及相关信息［３】，然后把这些

信息写到索引文件中，保存到磁盘或者内存中，其机制架构详

见图２．

Ｆｉｇ．１图１全文检索系统结构Ｔｈｅｓｙｓｔｅｍｓｔｒｕｃｔｕｒｅｏｆｆｕｌｌｔｅｘｔｒｅｔｒｉｅｖａｌ

收稿日期：２００８—１１—２５．

基金项目：湖北省科技攻关计划项目（２００５ＡＡｌ０１Ｃ１７）；湖北省教育厅优秀中青年项目（Ｑ２００９２９０１）；湖北民族学院青年基金项目．作者简介：汪涛（１９７７一），男，硕士，讲师，主要从事计算机应用的研究．

论基于Java的全文检索实现和索引性能提高

５０

１．２Ｌｕｃｅｎｅ＋ＪＳＰ＋Ｔｏｍｃａｔ湖北民族学院学报（自然科学版）第２７卷

如前所述，Ｌｕｃｅｎｅ是一个全文检索引擎的架构，系统中索引

引擎、查询引整、文本分析引擎职能都是Ｌｕｃｅｎｅ承担ＨＪ，它可提

供完整的查询引擎和索引引擎及部分文本分析引擎，但仅仅靠

Ｌｕｃｅｎｅ还不能实现全部索引和提供查询功能，尤其是对于网上蠢；刈Ｉ叛姘』Ｉ毒二；诨■ＨＴＭＬ膏荜ｆｊ亍ｌＰＤＦ解析ｌＭＳＷｏｒｄ解析ｌＩ文奉文竺ｌ文奉文“解析丽蕊２雨≤户虿

围２

Ｆｉｇ２检索和查询，还需要具有方便的用户接口、面向～的开发接口、二次应用开发接口等等．这就需要将Ｌｕｃｅｎｅ与ＪＳＰ和Ｔｏｍ－ｃａｔ有效结合起来．ＪＳＰ（ＪａｖａＳｅｒｖｅｒＬｕｃｅｎｅ索引机制架构Ｔｈｅａｒｃｈｉｔｅｃｔｕｒｅｏｆｉｎｄｅｘ －

ｏｎＰａｇｅｓ）则是由ＳｕｎＭｉｃｒｏｓｙｓ－ｔｅｒｎｓ公司倡导、许多公司参与一起建立的一种动态网页技术标ｎｌｅｃｈａｎｉｓｍｂａｓｅｄＬｕｃｅｎｅ

准．ＪＳＰ技术是用ｊａｖａ语言作为脚本语言的，ＪＳＰ网页为整个服务器端的ｊａｖａ库单元提供了一个接口来服务于ＨＴＴＰ的应用程序，如在传统的网页ＨＴＭＬ文件（木．ｈｔｍ，木．ｈｔｍｌ）中加入Ｊａｖａ程序片段（Ｓｃｒｉｐｔｌｅｔ）和ＪＳＰ标记（ｔａｇ），就构成了ＪＳＰ网页（ ．ｊｓｐ），Ｗｅｂ服务器在遇到访问ＪＳＰ网页的请求时，首先执行其中的程序片段，然后将执行结果以ＨＴＭＬ格式返回给客户；ＴｏｍｃａｔＳｅｒｖｅｒ是根据Ｓｅｒｖｌｃｔ和ＪＳＰ规范进行执行的，各种应用程序都需要建立在这个引擎之上．因此，Ｌｕｃｅｎｅ＋ＪＳＰ＋Ｔｏｍｃａｔ就可实现以为Ｌｕｃｅｎｅ基础建立全文检索系统‘５１．

１．３Ｌｕｃｅｎｃ倒排索引原理

全文索引先要解决一个语言分析问题，模糊查询相对数据库的精确查询是一个非常不确定的问题，因此大部分数据库对全文检索支持有限．Ｌｕｃｅｎｅ是基于关键词索引和查询的，首先要找出字符串中的所有单词，即分词，没有什么实际意义的词【６Ｊ，如英文中的“ｉｎ”、“ｏｎｃｅ”、“ｔｏｏ”，中文中“的”“是”、标点符号等先过滤掉．而其它英文中单词间是通过空格天然分开，而中文字一个字挨一个，要进行特殊的词切分处理，一些比较复杂的词法分析都是用ＪａｖａＣＣ生成的．其分词器切分处理后，一般面言，对应关系是：“文章号”对“文章中所有关键词”．倒排索引把这个关系倒过来，变成：“关键词”对“拥有该关键词的所有文章号”．这样就可以利用倒排索引轻松地找到那些包含了特定索引项的文档．因此，Ｌｕｃｅｎｃ索引之所以效率高，正是靠使用倒排文件索引结构．

２全文检索系统的实现

在掌握全文检索系统原理机制后，实现操作则相对简单容易．

２．１简单的安装．

①下载程序．Ｌｕｃｅｎｅ是用Ｊａｖａ写的，它的运行、调试都需要有ＪａｖａＳＤＫ．ｗｅｂ服务器是在网络中为实现信息发布、资料查询、数据处理等诸多应用搭建基本平台的服务器．ＴｏｍｃａｔＳｅｒｖｅｒ是根据Ｓｅｒｖｌｅｔ和ＪＳＰ规范进行执行的，是一个十分有用的网络应用开发服务平台．ＪＳＰ网页为整个服务器端的ＪＡＶＡ库单元提供了一个接口来服务于Ｈ１１甲的应用程序．因此，首先需要下载、安装Ｌｕｃｅｎｅ、Ｔｏｍｃａｔ和ＪＳＰ，这三个软件及使用说明都可从Ｌｕｅｅｎｅ的官方网站一１上直接下载；②编辑、调试在ｊａｖａ …… 此处隐藏：8764字，全部文档内容请下载后查看。喜欢就下载吧 ……