06 7 月 甚麼是robots.txt ？robots.txt教學及設定 – 網站SEO爬蟲就靠它！
[vc_row css_animation="" row_type="row" use_row_as_full_screen_section="no" type="full_width" angled_section="no" text_align="left" background_image_as_pattern="without_pattern"][vc_column][vc_column_text css=".vc_custom_1688616193620{padding-top: 32px !important;padding-bottom: 32px !important;}"]歡迎回到MarketHK ! 在進行網站的SEO（Search Engine Optimization）優化時，有些網站管理員可能會忽略robots.txt這個文件的重要性。這個文件可以告訴搜索引擎爬蟲哪些網頁可以被索引，哪些網頁可以被忽略。在本篇文章中，我們將會介紹robots.txt的作用以及如何應用在SEO上。[/vc_column_text][/vc_column][/vc_row][vc_row css_animation="" row_type="row" use_row_as_full_screen_section="no" type="full_width" angled_section="no" text_align="left" background_image_as_pattern="without_pattern" css=".vc_custom_1688614197041{padding-top: 32px !important;padding-bottom: 32px !important;}" z_index=""][vc_column][vc_column_text] 什麼是robots.txt？ robots.txt是一個文本文件，它包含了網站所需要告訴搜索引擎的一些信息。這些信息包括哪些頁面是可以被搜索引擎爬蟲訪問的，哪些頁面是應該被忽略的，以及爬蟲訪問網站的頻率限制等等。這個文件通常放置在網站的根目錄下，並且可以通過瀏覽器訪問。[/vc_column_text][/vc_column][/vc_row][vc_row css_animation="" row_type="row" use_row_as_full_screen_section="no" type="full_width" angled_section="no" text_align="left" background_image_as_pattern="without_pattern" css=".vc_custom_1688614197041{padding-top: 32px !important;padding-bottom: 32px !important;}" z_index=""][vc_column][vc_column_text] robots.txt 主要功能 robots.txt宣告網站內容納入索引的權限，可以設定網站想要讓哪些搜尋引擎檢索或著不檢索，也可以指定網站哪些目錄連結不要讓搜尋引擎索引，但要注意，如果是想讓網站中的特定頁面不要出現在搜尋結果中，並不建議使用 robots.txt輸入網址子目錄來禁止搜尋引擎檢索，應該要在想要禁止索引的頁面中加入 meta 標籤向搜尋引擎宣告...