檢索預算(Crawl Budget)是什麼?6種方法優化檢索預算

什麼是檢索預算(Crawl Budget)

檢索預算(Crawl Budget)是Google用來評估爬蟲在一段時間內,可以爬取網站的頁面數量。雖然Google的技術能力大家有目共睹,但世上的網站這麼多,更別提許多粗製濫造的垃圾網站存在,不管有多台高端主機都無法爬取完所有頁面。
因此Google制定檢索預算規則,會依照網站的品質、內容更新頻率等因素,評估出一個檢索預算,並在每次爬蟲運作時,依照檢索預算的數量,去爬取網站的頁面。

為何要注意網站的檢索預算?

中大型網站(網站所有頁面加總超過1萬個以上的網站)為何需關心檢索預算?在維護網站的檢索效率上,可以分為兩個部分,一個是優化網站架構,讓Google爬蟲可以更有效率的爬取網站。另一個則是優化檢索預算,讓Google爬蟲可以在有限的檢索預算下,爬取到最重要的頁面。
而對於中大型網站來說,檢索預算的優化特別重要,因為這些網站的頁面數量龐大,如果沒有好好的優化檢索預算,很容易就會有重要頁面被爬取不到的情況發生,進而導致沒有被收錄並無法產生流量/曝光。

延伸閱讀:如何確認Google索引頁面狀況?學習Goolge Search Console網址檢查指標為何網站沒出現在Google搜尋結果?從檢索&索引2環節找出問題!

檢索預算的優化方法

根據網站的狀況,除了處理架構上的問題及Bug之外,優化檢索預算的通用方法有以下幾個:

1. 提交Sitemap至Search Console

 提交Sitemap至Search Console,可以讓Google爬蟲可以更有效率的爬取網站內容,同時避免孤兒頁面的產生。
延伸閱讀:Sitemap是什麼?免費開源Sitemap產生器完成網站地圖!

2. 避免隱藏內容、垃圾頁面

如果網站中有利用CSS等方式隱藏內容,則有可能會被Google判定為垃圾頁面之外,被Google給予低權重低排名的同時,還會讓Google爬蟲浪費檢索預算,爬取到不必要的頁面。

3. 避免異常轉址與解決重複內容問題

異常轉址會讓Google爬蟲不斷的爬取同一個頁面,例如無限循環的JS、301轉址。雖然Google的爬蟲有能力在爬取到異常連結時,有能力可以提前中止停留在這個循環之中,但該網站的技術性問題只要仍存在,會有可能讓Google爬蟲不斷浪費檢索預算,爬取相同的錯誤。

4. 優化內部連結結構

優化內部連結結構除了可以讓使用者更方便尋找相近的內容之外,也可以讓Google爬蟲更有效率的爬取網站內容。

延伸閱讀:內部連結優化重點!3招優化策略及4種不良內部連結設計整理

5. 整合重複內容

重複內容指的是內容大致相近的頁面,畢竟Google只會選取其中一個頁面收錄並展示在搜尋結果中,因此若網站的架構上容易產出大量的重複內容頁面,就有可能形成只有Google僅收錄一個頁面,卻要爬取大量相似的內容,造成檢索預算的浪費。

6. 優化網站速度

就跟真人瀏覽網站一樣,Google爬蟲也不希望爬取頁面時需要耗費大量時間等待,因此在實際案例上,確實發現若網站的載入速度,如:伺服器回應時間、頁面需要仔入大量資源而造成網站速度緩慢,都會明顯降低每日爬取頁面的數量

哪些情況需要限制檢索預算

雖然優化檢索預算可以讓Google爬蟲更有效率的爬取網站,但並不是所有網站都需要優化檢索預算,有些網站反而需要限制檢索預算,例如:如果網站的伺服器無法負荷,而爬蟲的爬取頻率過高,則可能會導致網站的伺服器發生問題,因此這時候就需要限制檢索預算,避免爬蟲爬取網站的頁面過多。

看完了這麼多,我想你對檢索預算(Crawl Budget)是什麼有了更進一步的了解,如果喜歡我的文章,或是未來想要了解更多關於SEO的資訊,請關注我的網站,我會努力將各種知識分享出來:)

Last Updated on 23 4 月, 2024 by 己見室

取自日文「實驗室(じっけんしつ、jikkensitu)」,在自己的網站上做一些實驗性的修改、優化,同時將這份「自己的所見所聞」分享給所有人,在兩個想法的結合下「己見室」就這麼誕生了。 未來會持續以自身經驗、實際操作過的步驟,帶給各位SEO、數位行銷領域相關的優化方法,請各位持續關注這個網站。

Comments

No comments yet. Why don’t you start the discussion?

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *