蜘蛛在Web 上漫遊.尋找要添加進搜索引擎索引中的列表。蜘蛛有時也稱爲爬行器或者機器人。針對有機列表優化頁面也就是爲了吸引蜘蛛的注意。
蜘蛛,也稱爲蜘蛛程序(Spider).網絡蜘蛛是壹個自動提取網頁的程序,是搜索引擎的重要組成部分。作爲蜘蛛來講,就是盡可能多和快地給搜索引擎輸送網頁,實現強大的數據支持。
網絡蜘蛛是通過網頁的鏈接地址來尋找網頁,從網站某壹個頁面(通常是首頁)開始.讀取網頁的內容,找到在網頁中的其他鏈接地址.然後通過這些鏈接地址尋找下壹個網頁,這樣壹直循環下去.直到把這個網站所有的網頁都抓取完爲止