当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站290

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

通过标签优化来提升关键词排名

通过标签优化来提升关键词排名

SEO的日常工作是优化可预测的不确定性。SEO优化是一项非常繁琐的工作,包括内容优化、标题优化、图像优化、链接优化、代码优化、功能优化、标签优化等。而每一部分的工作,都要认真做好,构成每天的SEO。以内容优化为例,比较基本的是网站上的文章。文章中需要优化的关键词、标题中的关键词以及关键词的频率都是S...

大长假前后,如何更好的稳定网站排名

大长假前后,如何更好的稳定网站排名

马上又要放年假了,在年假期间,虽然我们在休息,但是各大搜索引擎并没有休息,换言之就是搜索引擎的spider并没有停止对网站的抓取更新。在年后开始上班的时候,也许你会发现很多网站在假期中遇到各式各样的问题,促使网站排名大幅度下降。出现网站排名大幅下降的原因大多是因为假期网站维护的懈怠问题,从而使得网站...

新网站如何能跟老网站一样获得好的排名?

新网站如何能跟老网站一样获得好的排名?

大家都知道网站上线时间越长相对来说对网站排名更有优势,尤其相对与新上线的网站,因为来网站经过多年的积累,外部资源丰富,内容量大,网站权重高。那么,对于新上线的网站真的就没法获得好的排名了吗?但是只有找对方法新网站还是能获得跟老网站一样的排名的,今天就跟大家分享一下新网站如何能跟老网站一样获得好的排名...

为网站更新高质量文章内容的方法和技巧

为网站更新高质量文章内容的方法和技巧

网站内容建站是网站运营的重要内容之一,网站内容无论是建站的初期还是是成熟期都相当重要,并且网站文章内容更新越来越成为企业网站推广的首要的重中之重。网站内容就相当于人体的肌肤,网站的架构和程序,就像人体的骨架,只有两者有着很好的搭配,才能够让人体变得丰满起来,可爱起来,要不然光光秃秃的骨架示人,一定会...

SEO优化心得:规范化标签解决网站重复性内容索引难题

SEO优化心得:规范化标签解决网站重复性内容索引难题

在因特网上每天都有大量内容产生,有高质量内容也有垃圾内容,甚至是重复内容。如何让搜索引擎准确抓取真李逵而不是假李逵,避免抓取份额浪费呢?不难,网页添加规范化标签rel=canonical轻松解决。在本文中,你将了解到以下内容:1. 什么是规范化标签?2. 规范化标签在SEO中作用3. 规范化标签ca...

优化网页代码的一些基本方法和技巧

优化网页代码的一些基本方法和技巧

现在随着百度等搜索引擎对网站用户体验度的要求越来越高,优化网页代码成了每个站长朋友必须要面对的事情。一般在搜索引擎里面表现比较好的网站,其网站页面都是比较简单,都不会附带臃肿的代码。并且好的网页优化效果将大大减小网页的体积,增加用户体验效。今天笔者就跟大家分享一下优化网页代码的一些基本方法和技巧。优...