内网资源搜索引擎的设计与实现

摘要：搜索引擎是目前人们查找网络资源最常用的方式。本系统根据搜索引擎的设计原理，采用多代理方式，通过设置索引模块的参数，实现校网不同资源的统一整合，建立校网资源。搜索引擎。搜索引擎为学校内网提供了一种新的资源共享方式，提高了内网资源的利用率，缓解了内网带宽压力。

关键词：搜索引擎；代理人; 校园网络资源；校园网带宽

随着高校校园网的快速发展，网络作为信息传播平台正在高速发展。学校校园网络中的各种信息、软件和多媒体资源越来越丰富，呈现爆发式增长。以我校为例，目前软件资源容量300G，音乐资源容量4T，电影资源容量9T，学习资源容量近1T等。这些信息资源帮助人们更好地完成工作学习，丰富业余生活，提供更快更便捷的下载方式。然而资源搜索引擎，这是因为数字资源分布在不同的服务器和存储中。如何更有效地利用这些海量的校园网络资源，成为信息管理者思考的问题。在 Internet 上寻找信息的人会使用搜索引擎来搜索他们需要的信息。通过搜索引擎的模糊匹配机制，很容易找到自己想要的信息。对于学校信息中心的信息管理人员来说，如果可以在学校网络中引入搜索引擎机制来解决这个问题，可以让师生快速方便地使用信息，减少从外网重复下载，并减轻内部网络出口带宽的压力和充分提高校园网内部资源利用率的问题。在 Internet 上寻找信息的人会使用搜索引擎来搜索他们需要的信息。通过搜索引擎的模糊匹配机制，很容易找到自己想要的信息。对于学校信息中心的信息管理人员来说，如果可以在学校网络中引入搜索引擎机制来解决这个问题，可以让师生快速方便地使用信息，减少从外网重复下载，并减轻内部网络出口带宽的压力和充分提高校园网内部资源利用率的问题。在 Internet 上寻找信息的人会使用搜索引擎来搜索他们需要的信息。通过搜索引擎的模糊匹配机制，很容易找到自己想要的信息。对于学校信息中心的信息管理人员来说，如果可以在学校网络中引入搜索引擎机制来解决这个问题，可以让师生快速方便地使用信息，减少从外网重复下载，并减轻内部网络出口带宽的压力和充分提高校园网内部资源利用率的问题。

1 需求分析

搜索引擎的原理通常是指全文搜索引擎，它收集互联网上数千万到数十亿的网页，并对网页中的每一个词（即关键字）进行索引，建立一个索引数据库。当用户搜索某个关键字时，页面内容中包含该关键字的所有网页都将被检索为搜索结果。这些结果经过复杂的算法排序后，会按照与搜索关键词的相关性进行排序。

本系统的主要目标是遵循搜索引擎的原理，实现对学校网络信息资源的全面搜索。这些资源可能属于不同的类型，可能存在于不同的服务器中，而且服务器的类型也不尽相同，例如FTP服务器、HTTP服务器等。针对这些不同的环境要求，系统需要完成以下要求：

(1)索引需要满足不同的服务器类型，如http、ftp等。

(2)索引时要区分文件类型。

(3)定期（手动）删除本机索引，重新建立指定目录的文件索引。

（4)搜索支持模糊查询。

(5)提供用户搜索和下载功能，记录关键词频率和文件访问次数。

针对以上需求，系统采用多代理模式，为不同的服务器安装索引建立模式（代理），然后通过参数配置实现不同服务器中资源的索引建立。

2 系统分析

2.1 系统结构

这个搜索引擎的结构如图1所示。软件的设计和开发主要分为两部分：（1)索引建立。主要负责后台数据的建立资源搜索引擎，使用客户端和服务器结构（ C/S结构));(2)Web查询。主要负责为用户提供界面友好的查询服务，采用浏览器和服务器结构（B/S结构）。通过开发索引建立程序，服务器（FTP、HTTP等）进行搜索、分析文件名、大小、类别、位置等，并将文件信息与服务器IP、访问前缀等结合起来创建相应的索引并添加它到数据库服务器。

2.2 数据库设计

为了方便数据库中文件信息的处理，数据库设计了两个基本数据表。一是存储索引构建模块，将文件的索引放在表1中；另一张表主要存放用户搜索的相关信息，如表2所示。如果搜索数据非常大，则应根据不同的规则划分基础数据表，并划分多个子表（可根据服务器类型、文件类型或服务器所属网络进行分类）划分以实现高效的资源搜索。

2.3系统设计

索引构建模块（代理）界面上的参数主要包括服务器IP地址、服务器前缀、选择的搜索路径、设置的时序。与服务器相关的文件被大规模存储。为了提高索引建立的效率，系统采用后台存储过程对数据库进行操作。

索引构建模块是整个系统的核心。通过递归算法，依次提取服务器中指定文件夹中所有文件（或指定类型文件）的信息，并将文件的物理地址转换为逻辑地址，形成对应关系。根据数据库表结构预设规则放入数据库对应表中，实现文件服务器中文件索引的建立。搜索的用户程序采用B/S结构，用户通过浏览器搜索资源，搜索关键词。搜索关键字采用分类文件夹与文件名模糊匹配，搜索结果以类别、文件名、文件类型、文件大小等信息显示。

2.4 主要核心代码

(1)搜索文件代码

if(FindFirst(PathName+"*.*", faAnyFile, sr)== 0)

{

做

{

if((sr.Attr&faDirectory)&&sr.Name!="."

&&sr.Name!="..")

//判断是否为目录，排除目录“.” 和 ”..”

{

//mem->Lines->Add("目录："+sr.Name); //调用函数本身并进入子目录

BrowDir(PathName+sr.Name+"\\", kind);

}

}while (FindNext(sr) == 0);

查找关闭（sr）；

}

(2)调用访问程序代码

ADOStoredProc1->ProcedureName="sp_insert";

ADOStoredProc1->Parameters->ParamByName("@ipstr")->Value=Trim(Form1->edip->Text);

ADOStoredProc1->Parameters->ParamByName("@frontstr")->Value= Trim(edfront->Text); ADOStoredProc1->Parameters->ParamByName("@folderstr")->Value=PathName.SubString(edpath->Text .Length()+2, PathName.Length()-edpath->Text.Length());

ADOStoredProc1->Parameters->ParamByName("@filenamestr")->Value=sr.Name;

ADOStoredProc1->Parameters->ParamByName("@filetypestr")->Value= ExtractFileExt(PathName+sr.Name);

ADOStoredProc1->Parameters->ParamByName("@filesizestr")->Value= sizestr;

ADOStoredProc1->准备；

ADOStoredProc1->ExecProc();

内网资源的搜索引擎在整合内部资源方面起着重要的作用，类似于校园网。它的重要性体现在它能够以统一搜索引擎的形式为用户提供校园网的各种资源，方便用户查找和使用。，大大提高了这些资源的利用率。本文介绍的内网搜索引擎在我校产生了明显的效果。随着推广的深入，越来越多的师生使用它来寻找自己需要的资源，极大地提高了工作效率，减轻了校园网络出口带宽的压力。

参考

[1] 郝金龙, 王成良. 原创优先搜索引擎排名算法[J]. 计算机工程, 2008, 34(18): 85-86.

[2] 任永琪，唐毅。以客户为中心的搜索引擎优化研究[J]. 图书馆学研究，2009 (1): 44-45.

[3] 吴端，史水才．一种结合超链接分析的搜索引擎排名[J]. 计算机工程, 2004, 30(15): 143-145