我的网站建好后什么结构与内容都没有确定好之前，我怎么去屏蔽搜索引擎蜘蛛不来访问我的网站，不收录我的网站，这样才不会给我的网站造成损失，其实这样的问题再网络也有很多种回答，可能是由于答案太多太乱的缘故，有很多的人都找不到比较权威的回答，前面我们在文章里讲到一些新手SEO推广建站需注意的问题里面没有讲到关于屏蔽蜘蛛的这一项，现在为大家介绍一下，总体的给大家归纳一下吧！在这里给大家介绍两种方法，如下：一、创建文件，并将文件放置在网站根目录。
文件的内容如下： 1、禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 大家知道为什么要创建一个的文件吗，也许有很多的都知道建立这个文件就可以屏蔽蜘蛛的访问，不让搜索引擎抓取到自己的网站。
在这里我想告诉你的是，不管任何的搜索引擎他来到了你的网站。
首先访问的就是你的日志文件，当你在里设置权限不让搜索引擎访问，那么蜘蛛也会遵守互联网的协议进行返回，这就是为什么我们要建立文析的原因。
二、在模版的的文件时添加一段代码，因为蜘蛛来到你的网站是由上到下访问的，所以刚开始访问到的肯定是从header开始抓取。
所以如果我们在顶部里设置好屏蔽蜘蛛的访问代码后，蜘蛛也会跟第一条一样遵守协议返回。
屏蔽蜘蛛访问代码如下： 通过以上两种方法的话，我们基本上可以屏蔽搜索引擎蜘蛛访问到我们的网站，这样我们就可以去安心的做好网站的结构与内容之后再开放蜘蛛的访问。
有一种方法是通过WordPress自带的功能来阻止网站被抓去。
打开主菜单“设置”目录下的“阅读”选项，会出现以下界面，你会发现在最下方有一个对搜索引擎可见性的选项，需要我们做的就是点击“建议搜索引擎不索引本站点”选项旁边的方框进行勾选。
最后保存更改。
这时WordPress将自动地把下面的代码加到网站源代码的header中：<meta content=noindex,follow />同时还会创建网站的文件，将以下代码写入该文件。
1 User-agent: *2 Disallow: /这个代码的作用是阻止网络爬虫对你的网页进行索引。
但是还取决于搜索引擎是否接受这个指令。
所以，虽然大多数搜索引擎会尊重这个请求，但还是不能确保一些网页或随机图片不被索引。
咱们最熟悉的淘宝就是啊，这个禁止收录每个网站主都可以做到的，直接在网站文件中加入禁止收录的文件权限。
