您的位置:武汉SEO > SEO基础知识 >
SEO基础知识

robots协议

2018-05-19 09:45:39作者:墨沉来源:admin次阅读

网站基础优化有很多,其中robots协议就是其中之一,今天就来谈谈百度robots协议解析,关于robots协议写法的相关问题。写好robots协议文件有助于我们的网站更快的收录及保护好网站。
 
一、什么是robots协议?
 
它是给于网站与蜘蛛之间的一种协议文件,所以其也可以称之为爬虫协议或者机器人协议。而百度站长平台给出的官方叫法是“网络爬虫排除标准”,通过这个文件网站管理员可以规定蜘蛛来到网哪里可以爬取,哪里不能爬取。

robots协议
 
二、robots协议的意义
 
整个网站是由网站内容,程序,数据库信息等等相关的组合在一起搭建起来的,而网站里面的东西不是什么都需打百度蛛蛛爬取收录的,有的东西不能让其收录,如网站后台地址、登录信息,网站模板文件等等,这些东东西如果被蜘蛛爬收录了,不仅会降低网站排名的收录页面得分,还会泄露网站重要信息。
 
为了避免这一情况的出现,robots协议就在中间起到了重要的作用。
 
三、robots协议文件的格式及写法
 
User-agent:
 
该项的值用于描述搜索引擎robot的名字,在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。
 
如果该项的值设为*,则该协议对任何机器人均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。
 
一般都是用"User-agent:*",允许所有引擎蜘蛛到网站收录页面。
 
Disallow :
 
该项的值用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot访问到。

robots协议写法举例
 
例如:
 
"Disallow: /help"
对/help.html和/help/index.html都不允许搜索引擎访问,
 
而"Disallow:/help/"
则允许robot访问/help.html,而不能访问/help/index.html。
 
任何一条Disallow记录为空,说明该网站的所有部分都允许被访问,在"robots.txt"文件中,至少要有一Disallow记录。
 
如果"robots.txt"是一个空文件,则对于所有的搜索引擎robot,该网站都是开放的。
 
四、robots.txt文件放在哪里?
 
robots协议应该放在网站根目录下面,当蜘蛛来了网站时第一时间是查看robots文件协议,然后会根据这个文件的协议规则来对网站内容进行爬取及收录页面。
 
关于robots写法具体可以查看《robots协议规则大全

声明: 本文由( admin )原创编译,转载请保留链接: robots协议

相关文章

编辑: 关键词: robots协议

网友评论

墨沉SEO

博主:墨沉 行业:互联网 品牌:墨沉SEO
我是周小雷 , 笔名“墨沉”
取自“腹中有墨,不愿沉沦”之意。
我一直有一颗90后浪漫主义者的心
梦里寻她千百度,蓦然回首,那人却在灯火阑珊处。
爱好互联网,写自传、现代诗词等。
小墨专注电子商务、武汉SEO优化、武汉SEO服务、武汉SEO顾问、微营销、淘宝运营、网站运营、网络营销、网络推广、微信公众号、营销系统研发和培训;小墨致力于帮助草根网络创业者打造最好的网络营销系统! 用思维改变命运!

小墨免费提供企业、论坛、博客等网站SEO服务诊断,欢迎大家咨询。墨沉SEO-微信:szjhke
或联系QQ:1194285866

最新文章

图文聚集

热门排行