就开始抓取。因此如果不是我们在顶部里设置好屏闭蜘蛛的访问代码后，蜘蛛也会跟第一条一样恪守协议直接返回。被屏蔽蜘蛛访问代码万分感谢：以上两种方法的话，我们基本都可以不屏闭搜索引擎蜘蛛ftp访问到我们的网站，这样的我们就是可以去安安心的做好网站的结构与内容结束后再刚开放蜘蛛的访问。
根目录下，有一个文件，disallow/，如果没有有其余页面也可以不再加如：
disallow/nwes要让抓取时间nwes文件夹里的东西
良好素质的关键词和描述会也让更多的用户去点击，最大限度地为我们的网站带来流量。
是对网站的标题，简单我们应该很清楚网站的标题长度在30个字左右，因为搜索引擎在搜索结果中只没显示30个字500左右，写多了也没用啊。首页的标题应该是包含不重要的主关键词和品牌词，有很多人会有疑惑为什么不标题中要包涵品牌词，这是只不过品牌词使用户更好不识别，标题中的关键词用英文半角的符号(_)、(|)、(，)、(-)包围起来都是是可以的，下划线(_)的效果是空格，网站标题是数量一般为3个关键词另外1个品牌词，宜少不宜过早多。
网站栏目的标题一般系统设置是”栏目名称-品牌词“，不要做无用的描述。一是只不过内页的权重值本身就不高，布局多个关键词是太不合理的。二是因为简洁明快的栏目名称能使用户一眼就能看出这种栏目是干什么的，利于增强用户体验。网站文章页的标题的一般设置为”文章标题-品牌词“就可以了。
keywords标签是用来随意放置关键词的，不过，百度站长平台的Lee对站长提的问题keywords标签时提过，“keywords标签现在也进历史的垃圾堆了，我们会再选择性的遗忘。”足以说明，在百度的排名算法中，网站的排名与keywords标签里面可以放置的关键词没有一丁点的关系。
description是网站的描述，可是却不是就组织会影响关键词的排名，不过，用户会在搜索结果中参考网站描述再点击网站，增加网站在搜索结果中的点击量，搜索点击量是能够提高网站的排名的。具体解释在排名中比较大的价值那就是使得用户去然后点击，并且我们在写网站描述的时候，要把网站的特色特点描写来，使得用户去点击而又不是由关键词剥落排成的。
比较合理的设置网站标题和描述，是网站优化的都差不多，要知道那些关键词的所选并并非凭空想象不出来的，它是是需要我们接受满足用户需求分析和大量的关键词筛选，这样的话才能可以保证我们的网站既有排名又有流量。
