歡迎回到MarketHK ! 在進行網站的SEO（Search Engine Optimization）優化時，有些網站管理員可能會忽略robots.txt這個文件的重要性。這個文件可以告訴搜索引擎爬蟲哪些網頁可以被索引，哪些網頁可以被忽略。在本篇文章中，我們將會介紹robots.txt的作用以及如何應用在SEO上。

建立 robots.txt 檔案的基本原則

如要建立 robots.txt 檔案，並允許該檔案可公開存取，可採取以下五個步驟：

1. 建立txt 檔案

幾乎所有文字編輯器都能用來建立 robots.txt 檔案，例如 Notepad、TextEdit、vi 和 emacs 都可以建立有效的 robots.txt 檔案。但請不要使用文書處理軟體，因為這類軟體通常會將檔案儲存為某種專有格式，有可能因此加上彎引號等不相容字元，或許會使檢索器發生問題。「儲存檔案」對話方塊出現提示時，請務必以 UTF-8 編碼儲存檔案。

格式和位置規則：

• 檔案名稱必須是 robots.txt。
• 您的網站只能有一個 robots.txt 檔案。

2. 如何編寫 robots.txt 規則

規則是用來規範檢索器可檢索網站的哪些部分。在 robots.txt 檔案中新增規則時，請遵循下列準則：

• user-agent:[必要，每個群組可指定一或多個 User-agent 項目] 這項規則會指定規則適用的自動化用戶端 (就是所謂的搜尋引擎檢索器) 名稱，也是每個規則群組的第一行內容。Google 使用者代理程式清單列出了各種 Google 使用者代理程式的名稱。使用星號 (*) 表示要比對各種 AdsBot 檢索器以外的所有檢索器；如要比對 AdsBot 檢索器，必須特別指明。

• disallow: [每項規則至少要有一個 disallow 或 allow 項目] 禁止使用者代理程式在根網域下檢索的目錄或網頁。如果規則指向網頁，則必須提供瀏覽器中顯示的完整網頁名稱。規則必須以 / 字元開頭，如果指向目錄，則必須以 / 標記結尾。

• allow: [每項規則至少要有一個 disallow 或 allow 項目] 允許前述使用者代理程式在根網域下檢索的目錄或網頁。這個指令可用於覆寫 disallow 規則，允許使用者代理程式檢索位於禁止檢索目錄下的子目錄或網頁。如果是單一網頁，請指定瀏覽器中顯示的完整網頁名稱；規則必須以 / 字元開頭，如果指向目錄，則必須以 / 標記結尾。

• sitemap: [選用；每個檔案可包含零或多個 sitemap 項目] 該網站的 Sitemap 所在位置。Sitemap 網址必須為完整網址；Google 不會假設或檢查是否有 http/https/www/非 www 等替代網址。Allow 和 Disallow 的用途是指出 Google「可以」或「不可」檢索哪些內容，Sitemap 則適合用於指出 Google「應該」檢索哪些內容。進一步瞭解 Sitemap。

3. 上傳 robots.txt 檔案

將 robots.txt 檔案儲存在電腦中後，您就可以開放讓搜尋引擎檢索器進行檢索。目前沒有工具可協助您進行這項工作，因為將 robots.txt 檔案上傳至網站的方式取決於您的網站和伺服器架構。您可以與您的代管公司聯絡，或搜尋代管公司的說明文件

4. 測試 robots.txt 標記

如要測試新上傳的 robots.txt 檔案是否可公開存取，請在瀏覽器中開啟私密瀏覽視窗 (或同等功能)，然後前往 robots.txt 檔案位置，例如 https://example.com/robots.txt。如果畫面顯示 robots.txt 檔案內容，表示您可以開始測試標記。

Google 提供兩種測試 robots.txt 標記的方式：

• Search Console 中的 robots.txt 測試工具。您只能針對網站已開放存取的 robots.txt 檔案使用這項工具。
• 如果您是開發人員，請參閱 Google 的開放原始碼 robots.txt 程式庫 (這也是 Google 搜尋使用的程式庫)，並按照說明建立自己的程式庫。您可以使用這項工具在本機電腦上測試 robots.txt 檔案。

5.將 robots.txt 檔案提交給 Google

在您上傳並測試 robots.txt 檔案後，Google 檢索器會自動尋找並開始使用 robots.txt 檔案．