搜索引擎是怎么抓取收录的？-深圳网站优化_网站建设

一个网站想要在搜索引擎获得好的排名，就要从搜索引擎获取流量。在国内能够带来流量的，仅仅有百度，360，搜狗。而在国外能够带来流量的有谷歌，MSN，yahoo（雅虎），bing等几种。这些搜索引擎带来流量的原理大同小异，都是循着链接抓取，放出爬虫（即程序，也可称为蜘蛛）。
搜索引擎蜘蛛是一边抓取一边爬行，把爬取到的代码存入自己的索引链接库中进行筛选，如果是它觉得需要的内容它才会展现出来（即被蜘蛛(spider)所爬取收录的网页）。我们就能够在搜索引擎上面搜索到我们的网站。

几种常见的搜索引擎爬虫的名称：

360爬虫名称名称：360Spider

百度（Baidu）爬虫名称：Baiduspider

  雅虎（Yahoo）爬虫名称：Yahoo! Slurp

  谷歌（Google）爬虫名称：Googlebot

  搜狗（sogou）蜘蛛名称：Sogou spider

  MSN的蜘蛛名称：msmbot

　　网站SEO优化第一步要做到的就是吸引蜘蛛来爬取我们的网站，搜索引擎的蜘蛛爬取到我们的网站，都会有痕迹，都会有自己的代理名称，各位站长都可以在IIS日志文件中分辨出分别是哪个搜索引擎的蜘蛛。

比较常见的搜索引擎蜘蛛有：

　　Baiduspider+(+baidu/search/spider.htm:baidu/search/spider.htm)
　　代表百度蜘蛛爬取过的痕迹

　　Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
　　雅虎中国蜘蛛爬取过的痕迹

　　Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
　　Google蜘蛛爬取过的痕迹

　　Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)
　　搜狗蜘蛛爬取过的痕迹

　　Sosospider+(+http://help.soso.com/webspider.htm)
　　搜搜蜘蛛爬取过的痕迹

　　Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
有道蜘蛛爬取过的痕迹

因为蜘蛛不能够爬取互联网所有的网站，实际上最大的搜索引擎也只是爬取了收录了互联网很小的一部分。如果SEO优化人员想要自己的网站更多的被搜索引擎收录，那么必须得设法把蜘蛛吸引过来抓取。搜索引擎一般都会爬取比较重要的页面。

蜘蛛爬取重要页面需要满足几个条件：

  1、网站权重问题，权重越高的网站蜘蛛会爬取的更加深入，几乎每个页面都会爬取到，就会有更多的内页被收录。

  2、网站的更新频率，蜘蛛会把每次爬取的网站存储起来，方便第二次爬取，如果第二次爬取到你优化的网站，发现页面有更新，蜘蛛就会爬取到你的新内容，如果之后每天更新，那么蜘蛛也会养成习惯，每天定时来爬取你的网站。

  3、网站内容质量，质量高、可读性比较强的页面，搜索引擎抓取到就更容易收录，从而收录之后，给我们的页面权重也会有提高。下次也会继续来爬取我们的网站，因为搜索引擎就喜欢有价值的页面，可读性强的页面，语句符合逻辑的页面。

  4、导入链接，这种分为外部链接和内部链接，如果要蜘蛛来抓取一个页面，那么这个页面必须要有导入链接，要不然蜘蛛根本就不能够知道这个页面的存在，那么高质量的导入链接，可以很好的引导蜘蛛抓取我们页面。　　

  5、页面在首页有链接，一般来说我们在自己网站更新，更新的链接最好是要出现在首页，因为首页是权重最高的，蜘蛛访问最多，最频繁的也是我们的首页，如果首页有更新的链接，可以让蜘蛛更快更好的爬取到我们更新的页面，从而更好的收录我们的页面。
　　
在日志的文件发现蜘蛛，但是页面没有被收录？

  1、重复度很高的内容，蜘蛛在抓取你网站的时候，发现你的网站存在之前被抓取过的内容太过相似，会认为你的网站是抄袭或者复制别人的内容，很有可能就不会继续爬取你的网站了，从而造成蜘蛛来过，却不收录你的页面。

  2、不能识别的图片，视频，flash，js， frame框架，ajax。

  3、已经收录了，但是没人点击，或者只是看了一眼就走，即使收录了以后也会撤掉。

图片会被抓取吗？

答：会。图片蜘蛛，专门抓图片，图片也会带来流量，但是图片没有规定尺寸。

图片蜘蛛是怎么抓取图片的？
  1、整站，网站品牌词。

  2、Alt属性。Alt属性查看，单机右键，打开审查元素（代码里面写着：xxx效果图），或查看源代码。

  3、图片周围的文字描述。

注意：第1和第3通常不做，因为图片蜘蛛识别的几率低，而第2种是能完全识别的，因为Alt是图片属性标签。