当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin2年前 (2023-02-19)SEO网站152

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

造成网站跳出率过高的因素有哪些

造成网站跳出率过高的因素有哪些

相信大家在做网站的时候都不喜欢自己的网站跳出率比较高,跳出率是对衡量用户对网站内容的认可程度或者说是网站是否对用户有吸引力的可靠评价标准。也就是说,跳出率也可以直接反映网站内容的价值程度。今天笔者就跟大家分享一下造成网站跳出率过高的因素有哪些?希望对大家有所帮助。第一、网站服务器不稳定,网站打开速度...

做SEO必须知道的9个HTML标签

做SEO必须知道的9个HTML标签

HTML是构成大多数网页基础的标记语言。它可以说是SEO技术的最基本部分之一。使用HTML元素,SEO专业人员可以将有关页面的信息传达给用户和搜索机器人。这可以帮助阐明页面上内容的重要性,性质和顺序,以及与其他网页的关系。标签和属性之间的区别要了解标签和属性之间的区别,我们需要确保我们使用正确的术语...

做好站内锚文本建设的方法技巧

做好站内锚文本建设的方法技巧

所谓的锚文本就是在html文档的链接标签中添加一些文字,使这些文字能够被用户点击后而跳转到特定链接上。现在,很多朋友认为百度算法不断削弱锚文本对排名的作用,应该放弃做网站锚文本。但是作者认为现在百度越来越重视用户体验,提升用户体验才是现在锚文本的真正价值。今天笔者就跟大家分享一下做好站内锚文本建设的...

seo优化,到底什么是seo优化?

seo优化,到底什么是seo优化?

原标题:seo优化,到底什么是seo优化?到底seo优化是什么技术?关于这个问题,说浅显的也非常好理解,但实际操作起来还是有非常高的技术含量的,想做优化推广还是要找专业的公司去做,像河南知网科技网站公司,1307河南3737知网771科技,我们专业从事软件开发,网站优化,小程序、APP制作,直销、分...

八个基础的SEO代码优化方法

八个基础的SEO代码优化方法

很多人把SEO当成了工程师,其实SEO是一门技术型营销,准确的来说应该称呼技术营销师才对。之所以被误以为是工程师是因为SEO需要跟代码打交道,那么哪些代码是SEO基础代码呢?一、A标签A标签也叫链接标签,A标签中经常用到的是title属性,白帽SEO的操作手法一般是将A标签开始标签和结束标签之间的内...

SEO专栏网站建设中如何设置Meta信息,提高SEO?

SEO专栏网站建设中如何设置Meta信息,提高SEO?

最近Blue Box International Brand Consultancy(蓝盒子国际品牌咨询)为一家VC阶段已经完成B轮融资(两轮融资额超过1亿元人民币)的科技公司搭建企业官方网站。网站建设过程中,一定要充分考虑SEO因素。好的SEO布局和设定,网站更容易被搜索引擎成功抓取,在后续的企业...