當前位置:首頁 >  站長 >  建站經(jīng)驗 >  正文

robots文件是否支持中文目錄?

 2016-11-02 14:07  來源: 站長學院   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

一個關(guān)于robots的問題:我們有個站點的目錄結(jié)構(gòu)使用的是中文,這樣式兒的:www.a.com/冒險島/123.html,那在制作robots文件和sitemap文件的時候,可以直接使用中文嗎?百度能獲取到嗎?在實際操作中我們發(fā)現(xiàn),sitemap中有文件是可以生效的,但robots封禁貌似沒有反應(yīng),所以想確認一下:robots文件是否支持中文?

工程師解答:Baiduspider目前(2016年10月)在robots里是不支持中文的。

同學追問:那我們進行UrlEncode編碼會不會支持呢?比如這種:

工程師解答:robots文件支持這種寫法。但是否生效,還要取決于當時BaiduSpider抓取的是哪種形式結(jié)構(gòu)的鏈接,如果是UrlEncode編碼就可以生效,如果是中文就非常不幸了。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關(guān)標簽
robots
robots文件

相關(guān)文章

  • robots協(xié)議怎么寫 作用是什么?

    robots協(xié)議也叫robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件,它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛),此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的,哪些是可以被漫游器獲取的。

    標簽:
    robots
  • robots具體應(yīng)該禁止些什么文件

    今天大概總結(jié)一下:首先說明一點:每天百度派出的蜘蛛是有限的,robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄!

  • robots文件編寫秘籍 新手必看

    當我們的網(wǎng)站上線之后,一定會有一些不想讓百度抓取的頁面、文件,針對這種問題,我們就要使用協(xié)議去屏蔽。那么這個協(xié)議是什么?究竟怎么寫這個協(xié)議呢?

    標簽:
    robots文件
    robots
  • robots.txt文件怎么寫才正確呢?

    曾慶平SEO在前面的文章中講過robots.txt概念的時候,留下一個問題:為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?曾慶平SEO的robots.txt:http://www.xxx.com/robots.txt這樣做的目的是,讓搜索引擎看來網(wǎng)站更規(guī)范和權(quán)威。

  • 百度站長平臺檢測robots.txt 提示301錯誤代碼 怎么解決

    如果以上都沒有錯誤,那么你就要檢查你的CDN了,很可能是因為CDN緩存而造成的,或者是你配置了https,而站長平臺卻綁定的http,無法訪問,這兩點自己排查,如果以上都做到,那么是不會提示這類錯誤的,當然也不排查百度站長平臺本身的問題,不過這種機率性很小。

熱門排行

信息推薦