搜索引擎原理及对内容的处理

搜索引擎捕获内容将包含在数据库中，当用户搜索搜索引擎将包含内容呈现给用户时，为了快速向用户呈现内容，搜索引擎需要处理捕获的内容，只留下关键信息，以便在用户启动搜索时快速呈现所需的内容。

搜索引擎主要有四个步骤来处理蜘蛛抓取的页面。

第一：判断页面的页面类型

判断页面是正常的普通页面还是普通页面PDF等待特殊文件和文档。普通网页将区分论坛、普通文章或视频，以便以后更快地呈现给用户

第二：提取网页的文本信息

站长们都知道搜索引擎无法识别JavaScript、Flash、虽然图片、视频和其他内容一直在努力识别这些信息，但它们更依赖于提取网页TDK虽然keyword标签已被主流搜索引擎抛弃，但仍有一定的参考。

第三：去除页面噪音

前面有两三篇文章提到了页面信噪比。信噪比是页面主题内容与干扰信息的比例。搜索引擎将删除与页面无关的广告、导航、链接等信息，并提取页面的主要内容。 在一定程度上，相关搜索也将被视为本页的内容，因此更好地利用搜索不仅可以提高页面质量，还可以提高与用户搜索的匹配度。

第四：删除页面内容停止词

删除页面停止词实际上是搜索引擎分词处理，今天主要是关于停止词，即页面中的、啊等词，以减少搜索引擎的计算。