首先我们来说一下什么是百度蜘蛛抓取频次?
百度蜘蛛抓取频次可以通过百度站长工具进行查询,抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
那么一个网站百度蜘蛛每天抓取的频次多少为正常呢?
这也是很多站长困惑的事情。关于百度蜘蛛抓取的问题:我的网站高的话能达到两千万次,低的话也有几百,几十甚至几次的。这要看你网站的规模和质量,而且这个抓取量也是会根据你网站服务器的压力进行调整的。
很多站长认为,网站坚持跟新,百度蜘蛛就会抓取的越频繁,但是我们也要知道蜘蛛对网站的抓取频次不是越多越好,也不是越少越好!我们来看看下面这个网站的抓取量:首先开始的时候抓取频次最高达到了900频次,这个频次非常之高,但后来怎么降下来了而且越来越低。
我想说的是从一开始上升到下降这段时间抓取都是极不正常的现象,只有降下来而且趋于平缓之后就慢慢走向正常了!大部分博客网站抓取频次到了稳定期正常情况下都是200~300频次/天。
如果你的抓取频次过高的话可能是因为以下几种情况的原因:
第一可能是: robots.txt没有设置好做好,导致蜘蛛大量抓取一些内部的没用的页面,包括以及一些重复页面。第二可能是 网站的过度优化,百度蜘蛛对网站的过度优化是很敏感的,它喜欢自然的东西,刻意优化会造成让它反感甚至有作弊嫌疑,当你的网站有作弊嫌疑的时候,蜘蛛大军就会大量造访你的网站,每一个蜘蛛的分工都不同,其目的就是在你的网站上找出充分的证据证明你是作弊的,它会把各种算法通过蜘蛛集中放到你的网站上去验证,能不能躲过此劫,就看你是不是真的作弊了。而也有可能是 网站结构的不合理性导致蜘蛛进入循环黑洞,爬取不顺畅。同样抓取频次太低也是不正常的,有以下几种可能:
第一点:长期不更新内容,更新内容不规律,三天打渔两天晒网。
第二点:新站点,新站点的规模差距还是挺大的,况且还没走出百度的沙盒期,只有网站做了比较长的一段时间,赢得了搜索引擎的信任才会提高对你的网站的访问次数。
现在,深圳白起SEO,为大家分享一下百度蜘蛛更新时间的规律
大家通过看服务器日志就可以发现,其实百度蜘蛛时刻都是在抓取爬行的,并且抓取的频率和数量都非常大。个人认为站内文章更新时间最好选择在每天早上10:00—11:00左右。早发文章有一个比较大的好处就是,如果有人发布跟你文章类似且网站权重相同,或许你能先人一步收录。如果每天十点你都有新的高质量文章,时间一久百度蜘蛛也就会固定这个时间来爬行,这也就是养蜘蛛的说法。
接下来说一说星期一到星期日的安排,我们可以利用星期一的时间好好为网站的收录做准备。添加一些文章增加一些友情连接或者再做一些外链,等到星期三的时候会对排名有很大的好处。如果星期一没有更新,星期二还是可以发布文章的。到了星期三的凌晨1:00—4:00左右百度会更新一下。届时可能你的网站关键词排名升的很高,也可能也会百名开外。无论你的排名升了或者降了,都不要因此而兴奋或者气馁。因为星期三也许是百度服务器调整,到了星期四的凌晨1:00—4:00的时候百度会把星期三的浮动稳定住并且基本不会再有浮动了。
所以每周四的大更新也正是因此而来。如果这一天排名掉得厉害,那只能下星期继续努力。当然也不排除有些特殊情况出现,会让人丈二和尚摸不着头脑。星期五跟星期一和星期二是一个道理,因为星期四的更新已经基本上定型了,可以更新下文章,再次等待星期六的更新。大家不要以为这一周就这么顺利的过去了。据我所知星期六这天也会有更新。到了星期日的话,目前来说我基本上就不会去弄网站了。每星期的小更新基本就是星期四跟星期六,更新时间在凌晨四点。不过目前来看也有声音说每天都会有小更新,只不过影响不是很大。每个月的大更新有一到两次,不是十一号就是二十六号,最重要的就是二十六号。更新幅度比较大,K站也是最多的,也可能每个月的这两天都更新。
百度蜘蛛抓取频次原则及调整方法
百度蜘蛛会根据网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢,主要指标有四个:
1,网站更新频率:更新快多来,更新慢少来,直接影响百度蜘蛛的来访频率
2,网站更新质量:更新频率提高了,仅仅是吸引了百度蜘蛛的注意,百度蜘蛛对质量是有严格要求的,如果网站每天更新出的大量内容都被百度蜘蛛判定为低质页面,依然没有意义。
3,连通度:网站应该安全稳定、对百度蜘蛛保持畅通,经常给百度蜘蛛吃闭门羹可不是好事情
4,站点评价:百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据。站点评级从不独立使用,会配合其它因子和阈值一起共同影响对网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录,如此重要的数值如果不符合站长预期该如何调整呢?百度站长平台提供了抓取频次工具,并已完成多次升级。该工具除了提供抓取统计数据外,还提供“频次调整”功能,站长根据实际情况向百度站长平台提出希望百度蜘蛛增加来访或减少来访的请求,工具会根据站长的意愿和实际情况进行调整。