如果问你这个问题:
像搜索引擎这样的全文搜索底层原理到底是什么?
对于有经验的人来说,很轻松的就能回答这个问题。因为现代的搜索引擎基本都是采用倒排索引来实现的。那什么是倒排索引呢?
建立倒排索引
有的同学看到「倒排」两个字可能有点慌。
我知道你很急,但你先别急(bushi)
这个不是「倒排需求」的倒排,而是「倒排索引」的倒排。假设我们现在有 3 个网页,包含了如下很简单的内容:
三个文档
现在假设我们要对网页中的内容进行搜索,第一步需要做什么呢?当然是建立索引,没有索引你还想大海捞针?想 peach,相信大家对索引应该不陌生,大家平时看书时看到的目录,是一种索引,MySQL 当中的聚簇索引和非聚簇索引也是一种索引。
废话不多说,直接看人肉手动分词 + 建立道倒排索引之后的结果:
对三个文档简历好索引之后的效果
假设现在要搜索 jump 这个词,那么最终就会把网页 1、2 展示给你,因为 jump 在两个网页中都出现过。这就是很简单的一个倒排索引的例子。
搜索连续的词怎么办?
可能大家还没有意识到这个问题在哪里,我们举个例子来看看。在搜索引擎里搜索的时候,我们输入 i jump 和 "i jump" 是不同的概念。前者代表包含了 i 和 jump 两个词的网页,后者代表了单词 i 后紧跟 jump 的网页。例如,搜索 i jump 预期会把上面 3 个网页全部搜索出来,而搜索 "i jump" 则只会搜索出网页 3.
此时我们思考一个问题,搜索引擎是如何实现上面功能的呢?在上面的索引表中,只有哪些词出现在了哪些网页当中,却并没有词语位置的相关信息。
所以,只记录词语出现在哪些网页中是远远不够的。为了满足上面精确到词语位置的查询需求,让我们把词语的位置也一起写入到索引中,如下所示:
将词语的位置加入到倒排索引当中
这样以来,当我们搜索 "i jump" 时,我们就能够通过索引中记录的位置来搜索相邻的词语,如下图所示:
根据有位置记录的索引来搜索相邻的词语
词语 I 在 3-3 的位置,而 jump 在 3-4,由此就可以推断,这两个词在同一个网页的相邻的位置了。
只搜索标题的内容怎么办?
现在 Google 是支持这种搜索的,查询的格式如下:intitle:${search_content},大家可以去尝试一下。
那这个到底是怎么实现的呢?
很显然上面的索引是无法满足只搜标题这个需求的,因为它无法判断当前这个词是标题还是正文,那这个到底是怎么实现的?
首先,我们得知道如何标识「标题」。如果我们在现在的网友上右键,选择查看源代码,你就会看到 HTML,这才是网页的“真面目。网页的标题会用 <title></title> 标签给包裹起来,而正文会用 <body></body> 标签给包裹起来,那比如我们现在给上面的 3 个网页加上 title 标签,那么网页就会变成这样:
带 title body 标签的 HTML 网页
既然网页的内容发生了“变更”(实际上没有,因为它本来就应该长这样,只不过为了满足循序渐进的讲解才这么说),那么索引也自然需要更新一下。因为本质上我们需要知道哪些词是标题,那么新增了这部分信息的索引就如下所示:
添加了标题信息的倒排索引
可以看到,标题的文本、以及标识标题的标签都被写入了索引,通过这些信息我们就能够判断当前的词是否是标题。比如举个例子,我们搜索 intitle:Caesar,这个时候首先会通过索引找到词语 Caesar,发现它只出现在网页 2 的位置 2,那么我们再对比 <title> 和 </title> 出现的位置我们会发现,2-2 刚好在标题的范围内:
通过标题位置的索引来只搜索标题
这样以来,我们就能够将搜索的范围限制在标题内了。
当然,这个只是搜索的操作,搜索引擎还有另一个重要的组成部分 —— 排序,对于搜索出的结果如何将用户最需要的、最相关的排在最前面也是技术含量很高的操作,后续有机会继续分享一下。