12,Apr,2012
robots.txt檔案是做什麼用的?
【 Google 】
robots.txt 檔案會限制檢索網頁的搜尋引擎漫遊器存取您的網站。這些自動化的漫遊器在存取網站的網頁前，會先檢查網站是否擁有阻止它們存取特定網頁的 robots.txt 檔案 (所有正派的漫遊器都會遵照 robots.txt 檔案中的指令去做，但有些漫遊器解讀指令的方式可能有些不同。需要注意的是，robots.txt 不具強制性，有些垃圾郵件發送器和其他麻煩程式可能會逕自忽略它。因此，我們建議用密碼來保護機密資訊)。只有在您的網站包含您不希望搜尋引擎建立索引的內容時，才會需要使用 robots.txt 檔案。如果您希望搜尋引擎為您網站的所有內容建立索引，就不需要 robots.txt 檔案 (連空白的 robots.txt 檔案都不需要)。雖然 Google 不會對 robots.txt 所封鎖的網頁內容進行檢索或建立索引，但如果我們在網路上的其他網頁中找到這些網址，仍然會建立這些網址的索引。因此，網頁網址以及其他可能的公開資訊，例如網站連結中的錨定文字，或開放式目錄專案 (Open Directory Project，www.dmoz.org) 中的標題，都會出現在 Google 搜尋結果中。如果要使用 robots.txt 檔案，您必須擁有網域根目錄的存取權限 (如果不確定，請向網頁代管商洽詢)。如果您無法存取網域根目錄，可以使用漫遊器中繼標記來限制存取。
原始資料出處：https://support.google.com/webmasters/answer/6062608?hl=zh-Hant&from=40360&rd=3&visit_id=1-636216119283367127-4165739181
【 Wiki維基百科 】
robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文字文件，它通常告訴網路搜尋引擎的漫遊器（又稱網路蜘蛛），此網站中的哪些內容是不能被搜尋引擎的漫遊器獲取的，哪些是可以被（漫遊器）獲取的。 因為一些系統中的URL是大小寫敏感的，所以robots.txt的檔名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜尋引擎的漫遊器存取子目錄時的行為，那麼可以將自定的設定合併到根目錄下的robots.txt，或者使用robots後設資料。 Robots.txt協定並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私。注意Robots.txt是用字串比較來確定是否獲取URL，所以目錄末尾有和沒有斜杠「／」這兩種表示是不同的URL，也不能用"Disallow: *.gif"這樣的通配符。
原始資料出處：https://zh.wikipedia.org/wiki/Robots.txt
robots.txt 檔案會限制檢索網頁的搜尋引擎漫遊器存取您的網站。這些自動化的漫遊器在存取網站的網頁前，會先檢查網站是否擁有阻止它們存取特定網頁的 robots.txt 檔案 (所有正派的漫遊器都會遵照 robots.txt 檔案中的指令去做，但有些漫遊器解讀指令的方式可能有些不同。需要注意的是，robots.txt 不具強制性，有些垃圾郵件發送器和其他麻煩程式可能會逕自忽略它。因此，我們建議用密碼來保護機密資訊)。只有在您的網站包含您不希望搜尋引擎建立索引的內容時，才會需要使用 robots.txt 檔案。如果您希望搜尋引擎為您網站的所有內容建立索引，就不需要 robots.txt 檔案 (連空白的 robots.txt 檔案都不需要)。雖然 Google 不會對 robots.txt 所封鎖的網頁內容進行檢索或建立索引，但如果我們在網路上的其他網頁中找到這些網址，仍然會建立這些網址的索引。因此，網頁網址以及其他可能的公開資訊，例如網站連結中的錨定文字，或開放式目錄專案 (Open Directory Project，www.dmoz.org) 中的標題，都會出現在 Google 搜尋結果中。如果要使用 robots.txt 檔案，您必須擁有網域根目錄的存取權限 (如果不確定，請向網頁代管商洽詢)。如果您無法存取網域根目錄，可以使用漫遊器中繼標記來限制存取。
原始資料出處：https://support.google.com/webmasters/answer/6062608?hl=zh-Hant&from=40360&rd=3&visit_id=1-636216119283367127-4165739181
【 Wiki維基百科 】
robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文字文件，它通常告訴網路搜尋引擎的漫遊器（又稱網路蜘蛛），此網站中的哪些內容是不能被搜尋引擎的漫遊器獲取的，哪些是可以被（漫遊器）獲取的。 因為一些系統中的URL是大小寫敏感的，所以robots.txt的檔名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜尋引擎的漫遊器存取子目錄時的行為，那麼可以將自定的設定合併到根目錄下的robots.txt，或者使用robots後設資料。 Robots.txt協定並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私。注意Robots.txt是用字串比較來確定是否獲取URL，所以目錄末尾有和沒有斜杠「／」這兩種表示是不同的URL，也不能用"Disallow: *.gif"這樣的通配符。
原始資料出處：https://zh.wikipedia.org/wiki/Robots.txt
