這個問題困擾了我很久。為什么我被機器人屏蔽后分析了網站日志，仍然可以看到我的網站頁面被百度抓取收錄?不是說屏蔽了以后就不會被抓取和收錄了嗎?這些頁面都是我們老板千叮萬囑不讓展現在百度的，現在都不知道怎么交差了，求解釋。

　　我經常遇到這樣的情況。很多人來問我:“為什么被屏蔽的頁面還在爬?”這里深圳seo外包公司簡單的說下吧，一般有兩種情況：

　　種是用機器人屏蔽收錄的網頁，老網頁會長期按照機器人規則刪除，可能導致百度不遵守機器人規則。

　　第二種情況是：如果你屏蔽的頁面或欄目存在大量的外鏈，那么這個網頁或欄目的URL會被百度收錄，但內容不會被百度索引，一般這樣的多見于首頁域名。當然，如果你甚至不想包含網址，你可以為蜘蛛返回404。