当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin2年前 (2023-02-19)SEO网站178

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

SaaS投手,玩转SEO生态

SaaS投手,玩转SEO生态

SEO 始终是一种在搜索生态推广内容的营销手段。 如何让自己(公司)站点有价值的内容被搜索引擎发现? 如何让它获得一个更优质的排名? 如何更快地击败你的"竞品"? 虽然目前新营销的玩法层出不穷,但...

谷歌SEO入门指南:GoogleSEO优化怎么做?

谷歌SEO入门指南:GoogleSEO优化怎么做?

许多外贸人士应该熟悉外贸SEO和外贸网站的优化。大多数已经做了几年外贸的外贸人士应该或多或少地接触过谷歌SEO和外贸网站的优化和推广。每年,不同的网络公司都会介绍外贸SEO的推广,甚至上门推荐谷歌SEO推广。即使外贸人员已经这么多年的影响,我们对SEO的总体概念还不够。SEO是什么?SEO优化是什么...

在网站运营时哪些因素影响着网页的抓取收录

在网站运营时哪些因素影响着网页的抓取收录

我们在运营网站时都希望自己的网站内容能被快速抓取收录,但是搜索引擎对网站内容和网页抓取收录是一个复杂的过程,简单来说,收录过程可以分为:抓取、过滤、建立索引和输出结果。尤其是现在随着搜索引擎的不断升级,比如说百度搜索引擎细雨算法横空出世,对网站收录抓取一定会有影响。那么,搜索引擎进行网站内容的抓取时...

要想做好企业网站推广需要掌握的技能

要想做好企业网站推广需要掌握的技能

关于2023年如何做好网站推广一直是广大站长朋友关心的话题,现在随着互联网的飞速发展,搜索引擎算法调整的频率也在加大,比如说前段时间搜索引擎又增加了一系列的算法,让很多站长朋友受到了不小的打击。今天就跟大家分享一下2023年要想做好企业网站推广需要掌握的技能,希望大家通过掌握常用的技能不断提升网站排...

SEO优化人员如何使用标签进行优化

SEO优化人员如何使用标签进行优化

在 HTML代码中, SEO优化人员可以使用一些标签,这就便于搜索引擎蜘蛛对其进行抓取。因此,在 SEO优化过程中,若能适当地使用某些优化标签,那么很有可能收获到一些意想不到的效果,下面我们来看一下标签的巧妙运用。一、选择标签1、通过拓词器(如金花站长工具、百度关键词推荐工具、5118和其他一些工具...

SEO学习之页面优化xoooo

SEO学习之页面优化xoooo

SEO(Search Engine Optimization)搜索引擎优化是一种利用搜索引擎的搜索规则来提高目前网站在有关搜索引擎内的自然排名的方式。当我们在做官网的时候就会经常听到SEO这个词。SEO分为两部分,一部分是站内优化,一个是站外优化也就是外链建设。而站内优化又分为网站结构优化和页面优化...