由于該網(wǎng)站的robots.txt文件存在限制指令，系統(tǒng)無法提供該頁面的內(nèi)容描述

　　這是個SEO新手容易遇到問題！簡單來說，搜索引擎收錄網(wǎng)站內(nèi)容是有協(xié)議的，我們可以設(shè)置自己的網(wǎng)站內(nèi)容不被百度等搜索引擎收錄！當(dāng)我們做了這樣的設(shè)置，百度上顯示我們的網(wǎng)站收錄下面就會有這樣的字樣！下面丁哥來詳細解答一下這個問題產(chǎn)生的原因及如何解決！

　　一、robots.txt文件的意義，它在網(wǎng)站的什么位置

　　這個文件就是網(wǎng)站和搜索引擎的收錄協(xié)議，搜索引擎基本上都會按照這個協(xié)議來處理網(wǎng)站的收錄情況！

　　文件放置在網(wǎng)站根目錄下，如下圖顯示文件在ftp中的位置！

　　二、網(wǎng)站為什么要禁止搜索引擎收錄

　　1.我們大部分網(wǎng)站在改版、建站初期因為內(nèi)容，鏈接變動多，為了不讓搜索引擎抓取到頻繁的更改，所以我們要屏蔽搜索引擎抓取！

　　2.巨頭網(wǎng)站之間的利益之爭，如業(yè)內(nèi)很知名的淘寶屏蔽百度收錄！關(guān)于這個“舒揚”曾經(jīng)寫過一篇文章，大家可以看看

　　我眼中的巨頭之站：淘寶為何屏蔽百度抓取？

　　三、網(wǎng)站遇到這樣的問題怎么解決

　　1、找到根目錄下的robots.txt文件，去掉這一句disallow:/，解除屏蔽抓取；

最簡單的robots.txt文件設(shè)置：表示容許所有的搜索引擎收錄網(wǎng)站所有內(nèi)容！

　　2、下面一步很關(guān)鍵，就是到站長平臺下去更新robots文件，告訴搜索引擎你的網(wǎng)站已經(jīng)對它解除了屏蔽，可以來抓取我的網(wǎng)頁內(nèi)容了，主動對搜索引擎示好，快照更新過來之后，現(xiàn)象就會消失了。