当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin4年前 (2023-02-19)SEO网站401

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

如何正确使用Heading标签(H1,H2,H3)做好网站SEO优化?

如何正确使用Heading标签(H1,H2,H3)做好网站SEO优化?

1.如何查看页面是否做了H标签?1 在浏览器页面右键审查元素调出代码框,点击左上角图标即可检查标签2 点击箭头图标,把鼠标放在标题,会自动识别出该标题的标签,如下图所示可以看到设置的是H1标签H1标签格式如下所示:这是一级标题2. 为什么要做好页面H标签的SEO?通过段落标题,让内容更加有逻辑性和阅...

企业做SEO优化和整站优化有什么不同

企业做SEO优化和整站优化有什么不同

原标题:企业做SEO优化和整站优化有什么不同SEO优化实际上是对网页权重优化的反映。它以客户提供的关键词在搜索引擎中关键词排名为目的,并根据改变登录页面和改进几个外部链来促进排名。这也是绝大多数人所想的SEO优化。企业做SEO优化和整站优化有什么不同全站优化要以网站为中心,是的SEO高端形式。网站架...

大长假前后,如何更好的稳定网站排名

大长假前后,如何更好的稳定网站排名

马上又要放年假了,在年假期间,虽然我们在休息,但是各大搜索引擎并没有休息,换言之就是搜索引擎的spider并没有停止对网站的抓取更新。在年后开始上班的时候,也许你会发现很多网站在假期中遇到各式各样的问题,促使网站排名大幅度下降。出现网站排名大幅下降的原因大多是因为假期网站维护的懈怠问题,从而使得网站...

SEO为什么没办法快速见效?

SEO为什么没办法快速见效?

首先泼冷水,SEO是无法快速见效的,如果想要快速获得流量为目的的SEO优化,可以趁早放弃这个想法注定会失败。如果说SEO就是快速整个几十万页面,收录个几万页面就有个日均就有个上千的流量;或者说导入个几十万条外链就可以有很好的权重排名。那基本上所有站点每天都是疯狂采集,疯狂的买外链,显然很快搜索引擎生...

如何有效保护自己更新的原创网站内容?

如何有效保护自己更新的原创网站内容?

我们在做网站运营时都知道,网站内容是一个网站血液灵魂,网站内容的重要性自不多言,每个从事网站建设和网络推广营销的人都非常明白。很多时候我们为了使网站获得更好的排名,坚持不懈的用心原创,但是自己辛苦做的原创文章,被其他网站抄袭,抄袭后,排名还在自己网站的前面。面对这种情况作为站长朋友应该如何面对呢?今...

官网SEO优化方案

官网SEO优化方案

笔者:carry浩丶服务流程:前言:官网通与传统优化对比1站内优化及策略2执行工作3 SEO监测4官网SEO关键词排名5优化预算6关键词上线周期官网通与传统SEO对比:(2)官网通每一分钱都花在官网关键词上:(1)不受时间地域行业限制,官网通为您的网站做专业的搜索引擎优化,帮您高效运用成本;(2)系...