SEO基础知识

robots协议

2018-05-19 03:45:39作者:墨沉来源：admin0次阅读

网站基础优化有很多，其中robots协议就是其中之一，今天就来谈谈百度robots协议解析，关于robots协议写法的相关问题。写好robots协议文件有助于我们的网站更快的收录及保护好网站。

一、什么是robots协议？

它是给于网站与蜘蛛之间的一种协议文件，所以其也可以称之为爬虫协议或者机器人协议。而百度站长平台给出的官方叫法是“网络爬虫排除标准”，通过这个文件网站管理员可以规定蜘蛛来到网哪里可以爬取，哪里不能爬取。

二、robots协议的意义

整个网站是由网站内容，程序，数据库信息等等相关的组合在一起搭建起来的，而网站里面的东西不是什么都需打百度蛛蛛爬取收录的，有的东西不能让其收录，如网站后台地址、登录信息，网站模板文件等等，这些东东西如果被蜘蛛爬收录了，不仅会降低网站排名的收录页面得分，还会泄露网站重要信息。

为了避免这一情况的出现，robots协议就在中间起到了重要的作用。

三、robots协议文件的格式及写法

User-agent:

该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。

如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent：*"这样的记录只能有一条。

一般都是用"User-agent：*"，允许所有引擎蜘蛛到网站收录页面。

Disallow :

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。

例如：

"Disallow: /help"

对/help.html和/help/index.html都不允许搜索引擎访问，

而"Disallow:/help/"

则允许robot访问/help.html，而不能访问/help/index.html。

任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"robots.txt"文件中，至少要有一Disallow记录。

如果"robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

四、robots.txt文件放在哪里?

robots协议应该放在网站根目录下面，当蜘蛛来了网站时第一时间是查看robots文件协议，然后会根据这个文件的协议规则来对网站内容进行爬取及收录页面。

关于robots写法具体可以查看《robots协议规则大全》

声明: 本文由( admin )原创编译，转载请保留链接: robots协议

编辑：admin 关键词：robots协议

墨沉SEO

博主：墨沉行业：互联网品牌：墨沉SEO
我是周小雷，笔名"墨沉"
取自"腹中有墨，不愿沉沦"之意。
我一直有一颗90后浪漫主义者的心
梦里寻她千百度，蓦然回首，那人却在灯火阑珊处。
爱好互联网，写自传、现代诗词等。
小墨专注电子商务、武汉SEO优化、武汉SEO服务、武汉SEO顾问、微营销、淘宝运营、网站运营、网络营销、网络推广、微信公众号、营销系统研发和培训；小墨致力于帮助草根网络创业者打造最好的网络营销系统！用思维改变命运！

小墨免费提供企业、论坛、博客等网站SEO服务诊断，欢迎大家咨询。墨沉SEO-微信：szjhke
或联系QQ：1194285866

robots协议

相关文章

推荐文章

墨沉SEO

最新文章

图文聚集

热门排行