什麼是搜索引擎蜘蛛抓取份額?最近，google新的seo代言人Gary Illyes在google官方博客中，討論搜索引擎抓取份額相關問題。這對於大中型網站來說，是一個非常重要的seo問題，因為有些網站會因為這一問題而導致網站自然流量出現瓶頸。下面，小編將詳細分析相關內容，這些內容不但跟google有關，對其他搜索引擎同樣適用。

什麼是搜索引擎蜘蛛抓取份額?

搜索引擎蜘蛛抓取份額指的是，搜索引擎蜘蛛花在網站上的抓取頁面的總時間是相對固定的，不會無限制地抓取網站所有頁面。而影響抓取份額的因素主要有兩個：抓取需求和抓取速度限制。

抓取份額是由什麼決定的?

☆ 抓取需求

抓取需求值得就是搜索引擎「想」要抓取特定網站多少頁面，而這也有兩個因素影響。一、頁面權重，頁面權重越高，搜索引擎就會越喜歡抓取你的頁面;二、網站內容太久沒有更新，搜索引擎會覺得這個網站已經「荒廢」，那麼就會逐漸減少抓取你的網站的次數。

☆ 抓取速度限制

搜索引擎是不會為了抓取更多頁面，而把人家網站服務器拖垮的，所以對網站抓取速度都會設定一個上限，這也是服務器能承受的上限。如果服務器反應速度夠快，那麼抓取速度限制就會上調一點，加快抓取;反之，抓取速度就會減免，甚至停止抓取。

總之一句話，網站權重高，頁面內容質量高，頁面夠多，服務器速度夠快，那麼搜索引擎抓取的份額就會越大。

搜索引擎蜘蛛抓取份額會影響哪些網站?

☆ 小網站：不必要擔心抓取份額

一般來說，小網站頁面數比較小，所以搜索引擎蜘蛛抓取的頁面再少，每天至少都能抓取幾百個頁面，一般大概半個月到一個月左右就能全站抓取以便，所以一個網站幾千個頁面，甚至是數萬個頁面都不用擔心抓取份額的事情。

從圖上可以看出，這種seo每天一貼的小網站，頁面抓取頻次和抓取時間都沒有太大的變化，說明了搜索引擎沒有抓完份額，所以站長不用擔心。

☆ 大中型網站：可能需要抓取份額

幾萬頁以下的小型網站可以不用擔心抓取份額的問題，但是幾十萬頁以上的大中型網站可能就要考慮這個問題。例如，網站有1千萬的頁面，而搜索引擎每天只能抓幾萬個頁面，那麼如果要把網站抓一遍可能需要幾個月甚至更長時間，這就意味着有些重要頁面可能沒辦法被抓取，所以就沒排名或者不能及時被更新。

所以要想網站頁面被及時、充分抓取，就要保證服務器夠快，頁面夠小。如果網站有海量高質量數據，就要提高頁面加载速度，提高抓取速度限制，從而提高抓取份額。

從圖可以看到，抓取時間改善會導致抓取頻次上升，使搜索引擎瀏覽網站的速度加快，更多頁面被抓取收錄。

另外，中大型網站還要考慮不要把有限的抓取份額浪費在無意義的頁面上，導致其他重要的頁面沒有機會被抓取。

怎樣節省搜索引擎抓取份額

1、降低頁面文件大小，提高服務器速度，優化數據庫，降低抓取時間

2、盡量避免不要把抓取份額浪費在無意義的頁面上

3、某些情況下，使用鏈接nofollow屬性節省抓取份額。

· nofollow屬性在一定程度上可以控制網站權重流動和分配的，精心設計的nofollow會使無意義的頁面權重降低，提升重要頁面權重。

總結：對於大型網站，如果想要提高搜索引擎蜘蛛份額，首先要確保服務器的速度夠快，頁面夠小，其次就是不要把抓取份額浪費在無意義的頁面上。當然，如果是小型網站就無需要擔心抓取份額的事情。