1、編輯代碼如下Useragent *Disallow 網(wǎng)頁(yè)代碼方法 在網(wǎng)站首頁(yè)代碼與之間，加入代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照在網(wǎng)站首頁(yè)代碼與之間，加入即可禁止百度搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照在網(wǎng)站首頁(yè)代碼與之間，加入即可禁止谷歌搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照。

2、3聯(lián)系百度管理人員，信箱地址為webmaster@baiducom，用網(wǎng)站聯(lián)系人信箱發(fā)電郵，如實(shí)說(shuō)明刪除網(wǎng)頁(yè)快照的情況，經(jīng)百度核實(shí)后，網(wǎng)頁(yè)停止收錄抓取4登陸百度自己的“百度快照”帖吧和“百度投訴”帖吧，發(fā)個(gè)帖子，表明刪除網(wǎng)頁(yè)收錄網(wǎng)站快照的原因，當(dāng)百度管理人員，看到會(huì)給予處理如何禁止Google搜索引擎收錄。

3、UseragentDisallow css Disallow admin 禁止所有搜索引擎訪問(wèn)css 和admin 目錄，將CSS或admin目錄修改為你指定的文件目錄或文件即可第二種網(wǎng)頁(yè)代碼方法 與之間，加入代碼，此標(biāo)記禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁(yè)快照注已經(jīng)加了禁止代碼，但是搜索引擎還可以搜索出來(lái)，因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫(kù)。

4、可以將該內(nèi)容添加nofollow標(biāo)簽，格式如下內(nèi)容。

5、方法一1 第一種方法需要我們使用robotstxt屏蔽百度蜘蛛抓取下圖所示頁(yè)面2 屏蔽效果如下圖所示3 除此以外，我們也可以通過(guò)使用robotsMeta標(biāo)簽，屏蔽搜索引擎抓取，在頭部加入下圖紅框所圈代碼即可4 屏蔽代碼如下圖所示方法二1 通過(guò)使用htaccess，將下圖紅框所圈代碼屏蔽2 然后再。

6、在網(wǎng)頁(yè)代碼與的之間，加入nofollow屬性如果是超鏈接，就是標(biāo)簽里加入rel=quotnofollowquot即可。

7、1登錄wordpress網(wǎng)站后臺(tái) 2進(jìn)入wordpress后臺(tái)后，點(diǎn)擊“設(shè)置”按鈕 3然后再點(diǎn)擊“閱讀”4然后找到“建議搜索引擎不索引本站點(diǎn)”前面的框框，然后勾選這個(gè)框框，然后點(diǎn)擊“保存更改”即可 二上傳robots文件的方式 1先在本地創(chuàng)建一個(gè)robots文件robotstxt 2然后在robots文件里面寫入靜止搜索引擎抓取。

8、沒有針對(duì)搜索引擎的屏蔽代碼如果不想網(wǎng)站內(nèi)容被搜索引擎抓取就在網(wǎng)站根目錄建立一個(gè)robotstxt文件內(nèi)容填寫為UseragentDisallow 如果只是要屏蔽百度搜索蜘蛛，那就是 Useragentbaiduspider Disallow 把這個(gè)文件放入根目錄，搜索引擎會(huì)遵循協(xié)議，不再去抓取網(wǎng)站的內(nèi)容了。

9、比如允許百度收錄，按如下的方式寫Useragent baiduspider DisallowUseragentDisallow 5禁止搜索引擎訪問(wèn)某些目錄 UseragentDisallow cgibin Disallow tmp Disallow images 使用方法很簡(jiǎn)單，將代碼存為一個(gè)文本文件，命名為Robotstxt ，放在網(wǎng)頁(yè)根目錄即可。

10、原來(lái)在目錄為158下的所有鏈接，因?yàn)槟夸浀刂返母淖儯F(xiàn)在都變成死鏈接了，那么我們可以用robotstxt把他屏蔽掉Disallow 158 3屏蔽動(dòng)態(tài)的相似頁(yè)面 假設(shè)以下這兩個(gè)鏈接，內(nèi)容其實(shí)差不多XXX？123123html我們要屏掉XXX？123 頁(yè)面，代碼如下Disallow XXX？ 4告訴搜索引擎你的。

11、基本語(yǔ)法示例如下UseragentDisallow 上述代碼表示禁止所有搜索引擎抓取網(wǎng)站任何內(nèi)容若要允許所有頁(yè)面被抓取，只需刪除或保留一個(gè)空的robotstxt文件允許特定搜索引擎抓取時(shí)，需要在Useragent后指定搜索引擎名稱以下是robotstxt文件的不同寫法及其用途1 禁止所有搜索引擎抓取任何頁(yè)面User。

12、在網(wǎng)站的根目錄下上傳robots文件禁止百度抓取網(wǎng)站所有頁(yè)面robots文件的寫法新建一個(gè)TXT文檔，命名為robots，雙擊打開，輸入以下內(nèi)容保存Useragent Baiduspider Disallow 擴(kuò)展Baiduspider是指百度蜘蛛，不讓百度抓取，如果是不希望所有的搜索引擎比如還有360，搜狗，谷歌等抓取，可把Baiduspider。

13、三禁止某個(gè)目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下UseragentDisallow 目錄名字1 Disallow 目錄名字2 Disallow 目錄名字3 把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取四禁止某個(gè)目錄被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下Useragent。

14、如果只是禁止某一個(gè)搜索引擎抓取收錄網(wǎng)站的某一個(gè)目錄，比如要禁止百度抓取收錄jinzhi目錄，則如圖設(shè)置保存文件后，把文件上傳到服務(wù)器根目錄，即表示搜索引擎和網(wǎng)站之間的協(xié)議生效，可以禁止搜索引擎抓取收錄網(wǎng)站內(nèi)容5 除了設(shè)置robots協(xié)議之外，還可以在網(wǎng)頁(yè)代碼里面設(shè)置在網(wǎng)頁(yè)之間加入代碼表示緊致所有。

15、403狀態(tài)碼象征著一個(gè)明確的拒絕信號(hào)，它表示訪問(wèn)被禁止或者不被允許當(dāng)遇到這個(gè)代碼時(shí)，意味著網(wǎng)站可能設(shè)置了權(quán)限限制，或者網(wǎng)頁(yè)內(nèi)容當(dāng)前不對(duì)外公開百度搜索引擎在遇到403返回碼時(shí)，會(huì)采取一定的策略對(duì)于新發(fā)現(xiàn)的鏈接，蜘蛛會(huì)暫時(shí)不抓取，等待一段時(shí)間后再重新嘗試訪問(wèn)對(duì)于已收錄的鏈接，即使被禁止訪問(wèn)。

16、MJ12bot蜘蛛可能影響較小，因其主要服務(wù)于國(guó)際用戶但該蜘蛛的抓取操作仍會(huì)輕度增加服務(wù)器負(fù)擔(dān)，特別是在高流量時(shí)段，影響可能更為明顯若不希望在網(wǎng)站日志中出現(xiàn)MJ12bot蜘蛛的訪問(wèn)記錄，可直接在robotstxt文件中將其屏蔽由于MJ12bot蜘蛛遵循robots協(xié)議，此操作即可實(shí)現(xiàn)對(duì)其的屏蔽屏蔽代碼如下。