通常我們都很希望搜尋引擎能盡量多收錄我們的網站內容,但有時候搜尋引擎實在是太盡責了,可能會把一些我們根本壓根就沒打算給一般使用者看的資料也蒐錄進去(比如說用來做include的檔案,或是一些用ajax載入的說明文字,快取資料等等),為了避免這樣的狀況,我們提供幾個方法給大家做參考

1. 使用robots.txt來禁止搜尋引擎收錄某些目錄
2. 使用中繼標記阻止漫遊器存取您的網站
   
3. 將一些特定的目錄增加密碼的限制
4. 使用.htaccess來限制可存取的條件(如IP)