robots.txt 簡介

robots.txt 檔案能夠告訴搜尋引擎檢索器，可存取網站上的哪些網址。 這個檔案主要用來避免網站因要求過多而超載，而不是讓特定網頁無法出現在 Google 搜尋結果。如要防止自己的網頁出現在搜尋結果，請使用 noindex 指令，或使用密碼保護網頁。

robots.txt 檔案的用途是什麼？

robots.txt 檔案主要用於管理檢索器對您網站造成的流量；取決於以下檔案類型，「通常」可以讓 Google 搜尋結果不顯示特定檔案：

瞭解 robots.txt 檔案的限制

建立或編輯 robots.txt 檔案之前，請務必瞭解這個網址封鎖方式的限制。您可以視目標和狀況而改用其他機制，確保無人能透過網路搜尋到您的網址。

• 並非所有搜尋引擎都能支援 robots.txt 規則。
  robots.txt 檔案中的指示無法強制規範檢索器對網站所採取的行為，檢索器能夠決定是否遵循這些指示。雖然 Googlebot 和一些值得信任的網路檢索器都會遵循 robots.txt 檔案中的指示，但並非每個檢索器都是如此。因此，如要確保特定資訊不會受到網路檢索器存取，建議您使用其他封鎖方式，例如使用密碼保護伺服器上的私人檔案。
• 各種檢索器解讀語法的方式有所不同。
  雖然值得信任的網路檢索器都會遵循 robots.txt 檔案中的規則，但各個檢索器解讀規則的方式可能有所不同。有些網路檢索器可能無法理解特定指示，因此請對不同網路檢索器採用合適的語法。
• 如果其他網站連結到 robots.txt 所封鎖的網頁，系統仍然可以為該網頁建立索引。
  雖然 Google 不會對 robots.txt 所封鎖的內容進行檢索或建立索引，但如果我們透過網路上其他網頁的連結發現封鎖的網址，仍然會建立這些網址的索引。在這種情況下，網頁網址或者網頁連結中的錨定文字這類公開資訊，仍會顯示在 Google 搜尋結果中。如要完全避免這種情形，建議您使用密碼保護伺服器上的檔案、使用 noindex meta 標記或回應標頭，或是完全移除網頁。

建立或更新 robots.txt 檔案

如果您決定使用 robots.txt 檔案，請參閱這篇文章，瞭解如何建立 robots.txt 檔案。或者，如果您已經具有該檔案，也可以瞭解如何更新。