当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站309

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

如何做SEO优化?

如何做SEO优化?

SEO全名为搜索引擎优化,是互联时代很早的一种用户拉新引流方式,其发展经历了PC到移动,产品到用户的思维转化。时至今日,很多人问在全域运营浪潮下,SEO还有多大的价值呢?要整清这个问题,我们就要明白SEO是基于搜索引擎为载体的产物,因此不管搜索引擎载体如何变化,只要关键词排名这个逻辑规则一直存在,那...

网站SEO中的H标签该如何使用?

网站SEO中的H标签该如何使用?

很多做SEO优化的人都用过H标签,其实最大的问题只是一些小细节方面没做到位。H标签就是heading标签,是为了着重强调文本的标题,一般显示效果就是放大和加粗字号。H标签优化是SEO优化中一些小细节问题,但做好对于SEO效果提升会有很好的帮助作用。虽然H标签有6个层级,分别为H1、H2、H3、H4、...

网站文章优化的4个技巧方法

网站文章优化的4个技巧方法

网站文章质量越高,越容易被搜索引擎收录和抓取,对网站的帮助越大,不过很多人对于网站文章优化不了解,不知道该怎么做。今天为大家分享网站文章优化的4个技巧方法,希望对大家有所帮助。一、文章的原创度网站文章的原创度不能太低,至少要保证70%的原创度。大家可以通过互联网搜索“文章原创度检测”,有一些免费的s...

在网站运营时哪些因素影响着网页的抓取收录

在网站运营时哪些因素影响着网页的抓取收录

我们在运营网站时都希望自己的网站内容能被快速抓取收录,但是搜索引擎对网站内容和网页抓取收录是一个复杂的过程,简单来说,收录过程可以分为:抓取、过滤、建立索引和输出结果。尤其是现在随着搜索引擎的不断升级,比如说百度搜索引擎细雨算法横空出世,对网站收录抓取一定会有影响。那么,搜索引擎进行网站内容的抓取时...

SEO为什么没办法快速见效?

SEO为什么没办法快速见效?

首先泼冷水,SEO是无法快速见效的,如果想要快速获得流量为目的的SEO优化,可以趁早放弃这个想法注定会失败。如果说SEO就是快速整个几十万页面,收录个几万页面就有个日均就有个上千的流量;或者说导入个几十万条外链就可以有很好的权重排名。那基本上所有站点每天都是疯狂采集,疯狂的买外链,显然很快搜索引擎生...

如何做网络营销推广之网站SEO中title标签优化技巧

如何做网络营销推广之网站SEO中title标签优化技巧

众所周知,title标签的优化也非常重要,因为它能帮助网站提升更多的权重。如何做网络营销推广表示,title标签SEO优化技术包括标题长度控制、关键词分布、关键字词频及关键字组合技巧等。下面如何做网络营销推广就带大家一起来了解一下有关title标签的优化技巧。一、标题长度控制不同搜索引擎中有着不同的...