当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站357

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

如何做出符合搜索引擎规则的网站

如何做出符合搜索引擎规则的网站

我们在做网站的时候一定是想能更好的把网站推广出去,然而如今百度公司一系列的变化,百度绿萝算法,石榴算法,不断的出台,一些老站长就稳不住了,大呼如今的推广是越来越难做了。并且很多站长朋友在优化网站的过程中非常害怕搜索引擎,感觉搜索引擎就是天王老子,整天就是躲得远远的,提防着搜索引擎。其实搜索引擎也是个...

HTML优化:让你的网站HTML代码更符合SEO规范

HTML优化:让你的网站HTML代码更符合SEO规范

摘要HTML优化是网站内部优化的重点,可能对SEO新手来说,容易忽略。符合搜索引擎习惯的HTML代码是极利于SEO的,可以让你的网站获得更好的搜索引擎排名。如何制作一个标准的HTML网页,如何做HTML优化,本文将为你详细阐述。一直想写下SEO中关于HTML优化方面的的文章,总算空出这部分时间来了。...

网站404页面应该如何设计

网站404页面应该如何设计

如何设计网站404页?什么是404页?大致理解为用户打不开的页面叫404页。 404页面也是网页内容优化的一部分。当打开的页面无法正常提供信息或服务器无响应时,系统会自动提示页面不存在或链接错误,引导用户使用网站的其他页面,而不是简单地关闭窗口,称为404页。...

利用SEO技术赚钱-SEO优化系列教程(4)

利用SEO技术赚钱-SEO优化系列教程(4)

利用SEO技术赚钱-SEO优化系列教程(4)SEO不仅能为企业带来精准客户,提升自己业绩,也可以利用SEO创业、做服务、赚钱、下面介绍几种SEO技术赚钱思维。利用SEO做服务赚钱1.提供SEO排名服务服务对象:中小企业网站。适合对象:经验丰富的SEO人员。赚钱模式:按时间收取顾问费、按项目收取费用。...

标题设计,如何优化网页标题?

标题设计,如何优化网页标题?

标题是一个页面的灵魂,它告知搜索引擎,这个页面的主题是什么,同时,目前搜索引擎也在严格的审查网站每一个标题,如果你的页面标题出现堆积关键词的情况,系统可能就会给出相应的策略,甚至导致整站降权。因此,我们认为对于一个网站,标题设计很重要。那么,标题设计,如何优化网页标题?在这里我们将通过如下内容,进一...

企业网站优化中一些不良的操作

企业网站优化中一些不良的操作

作为站长要不断的提高优化细节来提高网站权重,客户通过这些细节得到有价值的信息,但是企业网站优化中的一些不良操作容易造成努力的白费,需要彻底杜绝,下面谈谈这些不良的操作。互联网营销是公司不可或缺的一种手段,互联网营销也并非单指互联网推广,它包含了从构建营销网站,任何公司想做好互联网营销除了有适用自己产...