当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站358

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

制作手机移动网站的基本流程和注意事项

制作手机移动网站的基本流程和注意事项

随着移动互联网的发展,企业网站现在不仅仅局限于PC端网站。现在越来越多的企业开始布局移动手机端的官网,因为现在移动互联网已经成为一种大趋势,据百度官方消息,百度移动搜索将对结果的排序算法做调整优化,更适合移动终端的网站结果将获得更好的排名优势。所以,内外需求的双重压力使得企业建立“移动官网”迫在眉睫...

如何为网站设置合适的标题和网站描述

如何为网站设置合适的标题和网站描述

我们在做好网站上线时必须为网站设置好标题和描述,因为网站标题和描述的设置关系到网站后期的排名能否持续向前推进。一个好的网站标题是对一个网页的高度概括,标题里面的关键词权重又是最高的;描述是对网站内容的简介,描述虽然对关键词前期的排名没有直接的作用,但是如果一个网站描述写得好,符合用户需求,那么通过描...

网站内容来源和网站内容写作技巧

网站内容来源和网站内容写作技巧

现在随着互联网站的高速发展,企业网站竞争也越来越大,现在已经不是过去那种只要把网站搭建起来,就会有源源不断的潜在客户访问的时代了。我们要想运营好企业网站就必须要做好网站内容的更新,因为现在网站内容优化的重要性已经远远的大于了网站外链优化。但是很多企业网站站长最头痛的就是网站内容的来源问题,尤其是当下...

网站优化的核心需要主要哪些细节,你真的get了吗

网站优化的核心需要主要哪些细节,你真的get了吗

其实,对于网站优化来说,页面优化相对较简单,由于搜索引擎算法技术的提升,在判断网页相关性上做得越来越好,页面优化所涉及的技术细节不用做到面面俱到,而且在SEO越来越崇尚平衡自然的前提下,页面优化做的越细致,越有可能涉及过度优化。对于页面优化来说,只要在页面上几个核心位置,比如标题、H标签等明显的地方...

关于百度SEO优化的部分常见问题解答

关于百度SEO优化的部分常见问题解答

这篇文章主要是收集了一些关于百度SEO优化的部分常见问题解答。问:百度会不会惩罚所有网页TITLE都一样的站点?解答:不会主动去惩罚,但这种方式对搜索引擎非常不友好。新手有很大可能进入考核期,延长排名周期。问:nofollow算是一个外链吗?解答:nofollow用于指示搜索引擎不要追踪该链接。外链...

4招做好网站标签优化,帮你快速缩短SEO优化周期!

4招做好网站标签优化,帮你快速缩短SEO优化周期!

在做SEO优化的过程中,把一些小细节给优化好,会带来意想不到的效果。看来很多人也发现了做SEO优化,也是有很多小技巧的。其实, 网站优化也不仅是优化网站内容和标题,网站的标签也非常重要 。网站标签是参与网站收录和排名的基础,在一定程度上也会影响SEO优化的周期和效果。正确设置网站的标签,可以增加...