壹般來說.搜索引擎用戶提交查詢後,相關的搜索結果可能成千上萬.而用戶沒有耐心查看排在後面的搜索結果.往往只查看前3頁搜索內容。用戶體驗策略就是利用搜索引擎用戶的這個特點來設計更新策略的。
這種更新策略以用戶體驗爲核心.即使本地索引的網頁內容是過時的,但是如果不影響用戶體驗.那麽晚些更新這些過時網頁也未嘗不可。所以判斷壹個網頁何時更新爲好,取決于這個網頁的內容變化所帶來搜索質量的變化(往往采用搜索結果排名的變化來衡量),影響越大的網頁.則應該越快更新。
用戶體驗策略保存網頁的多個曆史版本.並根據過去每次內容變化對搜索質量的影響,得出壹個平均值。以此作爲判斷爬蟲索抓該網頁時機的參考依據,對于影響越厲害的網頁.則越優先調度重新抓取。