百度蜘蛛:可以根據服務器的負載能力調節訪問密度,大大降低服務器的服務壓力。
根據以往的經驗百度蜘蛛通常會過度重複地抓取同樣的頁面,導致其他頁面無法被抓取到而不能被收錄。這種情況可以采取robots協議的方法來調節。百度蜘蛛的用法如下:Baiduspider+(+http://www.baidu.com/search/spider_htm)
百度蜘蛛:可以根據服務器的負載能力調節訪問密度,大大降低服務器的服務壓力。
根據以往的經驗百度蜘蛛通常會過度重複地抓取同樣的頁面,導致其他頁面無法被抓取到而不能被收錄。這種情況可以采取robots協議的方法來調節。百度蜘蛛的用法如下:Baiduspider+(+http://www.baidu.com/search/spider_htm)