论文关键词：搜索引擎；聚类；相关度
　　论文摘要：为了使用户快速地从网页中找到所需要的内容，在设计搜索引擎时，需要更好地提高搜索引擎效率和精度，该文阐述了六种提高搜索引擎效率和精度的技术。


　　互联网自诞生以来不断成长，其内容不断丰富，整个网络逐渐堆积成一个前所未有的超大型信息库。Internet作为一个信息平台在人们的日常生活和工作中发挥着越来越重要的作用，人们越来越多地通过Internet获取信息。然而伴随互联网的飞速发展，普通网络用户想找到所需的资料简直如同大海捞针，以至于迷失在信息的海洋中不知所措。搜索引擎的出现正好缓解了人们面对互联网信息爆炸带来的压力，但是尽管如此，搜索引擎搜索得到的结果中仍然包含了与用户查询请求不相关的文档，用户必须逐个地浏览以找到相关文档，花费了大量的精力。当返回的结果数目众多时，这个问题更为突出。因此如何更好地提高搜索引擎效率和精度，成为搜索引擎重点需要解决的问题。目前提高搜索引擎效率和精度的方法主要有如下六个关键技术。
　　
　　1 基于超链的相关度排序
　　排序搜索引擎的检索结果往往过于庞大，用户一般只会浏览前面的一部分结果。通过对检索结果进行相关度排序，搜索引擎试图使相关的文档尽可能地出现在结果的前面部分，以改进检索结果的输出。虽然各个搜索引擎中相关度排序的具体实现各不相同，但是基本上都采用了基于Web文档内容的方法，即考虑用户所查询的词条在文档中的出现情况，包括：词条频率、逆文档频率、词条位置等因素。这种方法有很大的局限性。一方面，相关度高的页面不一定是用户普遍欢迎的页面；另一方面，有些Web页面的作者利用上述因素来欺骗搜索引擎（spamming），以提高其页面的排序。
　　事实上，Web中还蕴含了丰富的结构信息。页面之间的超链反映了页面间的引用关系，一个页面被其它站点引用的次数基本上反映了该页面的受欢迎程度（重要性）。超链中的标记文本（anchor）对链宿页面也起到了概括作用，这种概括在一定程度上比链宿页面作者所作的概括（页面的标题、关键字、摘要）要更为客观、准确。因此，近年来出现了一些基于超链的相关度排序方法，作为基于内容方法的补充，例如，Stanford大学研究的PageRank算法等。这类方法通过为Web页面构造引用图，并综合考虑页面的被引用次数以及链源页面的重要性来判断链宿页面的重要性。一些搜索引擎已经开始使用基于超链的相关度排序方法。例如，以PageRank为核心技术的搜索引擎Google能够查询与用户请求相关的“权威”页面[1]。此外，Google通过分析超链中包含的文本，可以对链宿页面进行非全文索引，而不需要下载和分析实际的页面。目前，Google已经发展成为一个主要的搜索引擎，实际下载并索引了近100000000的Web页面。但是通过超链分析，其覆盖度达到了300000000，超过了其它任何搜索引擎。
　　
　　2 检索结果的联机聚类
　　尽管搜索引擎采用了各种方法来提高检索结果的精度，但是结果中仍然包含了与用户查询请求不相关的文档，其比例高达75%以上。此外，搜索引擎返回给用户的通常是一个线性的文档列表，虽然经过了相关度排序，但是相关文档和不相关文档仍然混杂于其中。用户必须逐个地浏览以找到相关文档，花费了大量的精力。当返回的结果数目众多时，这个问题更为突出。
　　为了方便用户的浏览，一些研究人员开始将聚类技术用于Web信息检索结果的可视化输出。聚类是指将文档集合分成若干个簇，要求同一簇内文档内容的相似度尽可能地大，而不同簇间的相似度尽可能地小。Hearst等人的研究已经证明了“聚类假设”，即与用户查询相关的文档通常会聚类得比较靠近，而远离与用户查询不相关的文档。因此，我们可以利用聚类技术将搜索引擎的检索结果集合S划分为若干个簇(S1，…，Si，…，Sm)，并以簇Si的质心averaged∈Si(d)作为簇Si的描述。这样，用户只需要考虑那些相关的簇，大大缩小了所需要浏览的结果数量。当一次聚类生成的簇Si中仍然包含大量文档时，可以对该簇中的文档再次聚类得到若干个子簇(Si，1，…，Si，j， …，Si，n)，直到用户满意为止[2]。。Etzioni等人的实验结果表明，使用一些改进算法来对检索结果进行联机聚类不但是可行的，而且十分有效。