robots.txt协议,robots.txt文件的写法!

您当前所在位置:赵文辉SEO > SEO基础 > robots.txt协议的写法
SEO基础 赵文辉SEO 浏览
小编:robots协议对新手站长来说是一个非常难的事情,但是robots协议却是网站优化中必不可少的一部分,那么在网站优化中,robots协议应该怎么去写呢?成都SEO会在后面为各位详细的解答。
robots.txt协议怎么写?robots协议对新手站长来说是一个非常难的事情,但是robots协议却是网站优化中必不可少的一部分,那么在网站优化中,robots协议应该怎么去写呢?赵文辉SEO会在后面为各位详细的解答。
seo优化中的robots协议,robots的禁止收录写法!
下面,成都SEO会给各位列出一些常用robots协议,如果是利用网站模板做的站长们,在网站上线前一定要仔细的查看他是否自带着robots.txt文件,robot协议带来的弊端可查看本站文章《搜索引擎不收录内页的三大原因》。

禁止所有搜索引擎抓取:

User-agent: *

Disallow: /

禁止百度蜘蛛抓取:

User-agent: baiduspider

Disallow: /

允许百度抓取,禁止谷歌抓取:

User-agent: *

Allow: /

User-agent: baiduspider

Allow: /

User-agent: Googlebot

Disallow: /

温馨提示:模板网站一定要仔细查看是否自带robots.txt文件,因为一般都是默认禁止所有搜索引擎抓取的。
看到上面给出的例子,相信很多站长朋友们都已经知道如何去操作了,当然,如果不懂也没有关系,赵文辉SEO会在接下来详细的给大家说明。

robots协议是由一行或多行User-agent开始而组成的,后面可以跟上多个Disallow和Allow行,参照上面案例

User-agent: 后面跟搜索引擎机器人的名字

Disallow: (不可以被抓取)

Allow: (可以被抓取)

注:robots协议所有属性后面都要加一个空格。例如:Allow: xxx,冒号的后面一定要有一个空格(半角下的空格)
 

robots.txt协议,robots.txt文件的写法!


我们再看看实际应用中的一些写法: User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow:  /admin/       这里定义是禁止爬寻admin目录下面的目录
Disallow:  /require/   这里定义是禁止爬寻require目录下面的目录
Disallow:  /require/    这里定义是禁止爬寻require目录下面的目录
Disallow:  /ABC    这里定义是禁止爬寻ABC整个目录
Disallow:  /cgi-bin/*.htm    禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
Disallow:  /*?*    禁止访问网站中所有的动态页面
Disallow:  .jpg$    禁止抓取网页所有的.jpg格式的图片
Disallow: /ab/adc.html    禁止爬去ab文件夹下面的adc.html所有文件
----------------------------------------------------------------------------------------------------------
User-agent: *   这里的*代表的所有的搜索引擎种类,*是一个通配符
Allow:  /cgi-bin/  这里定义是允许爬寻cgi-bin目录下面的目录
Allow:  /tmp    这里定义是允许爬寻tmp的整个目录
Allow:  .htm$    仅允许访问以".htm"为后缀的URL。
Allow:  .gif$    允许抓取网页和gif格式图片

下面重点说下百度蜘蛛的通配符:

Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

"$" 匹配行结束符。

"*" 匹配0或多个任意字符。

成都SEO总结:写robots协议一定要严格按照规则来写,不然就算你写出来也是无效的。写好之后可以到站长平台robots协议更新一下,检查robots.txt文件是否书写正确。另外robots协议中还可以加入网站地图sitemap,有些人认为这不安全,写到里面容易被人轻松获得了网站的链接。赵文辉SEO认为如果真的有人想采集网站的文章,不管你是不是在robots里面写了网站链接,都是可以采集到的。所以robots.txt文件中大可以申明网站地图的链接。

本文标题:robots.txt协议,robots.txt文件的写法!

当前网址:www.zwhseo.com/seojc/826.html

您当前所在位置:赵文辉SEO > SEO基础 > robots.txt协议的写法
分享文章到:
你可能喜欢的: