网站日志相当于一个黑匣子，记录着网站所有的信息，所以通过分析网站日志能监控网站的条动态，根据情况调整！1、比如，蜘蛛来没来抓取？来了访问了那个文件夹？2、蜘蛛来访问，服务器返回的什么状态？是否出现了404等页面3、学会网站日志分析再配合统计工具会让你的工作事半功倍
1.登录网站FTP，查看网站日志,选取网站前一天蜘蛛爬行记录下载下来便于分析2将下载下来的网站日志单独放在一个文件夹内,修改名称，便于分析蜘蛛爬行轨迹和网站404链接3打开网站日志分析工具，选择数据分析栏目选择网站日志分析,选择好刚刚重新建立的文件夹,点击分析就好.4分析完后点击导出404错误,输入你的公司域名，确认就可以了，注意域名输入后面不要带斜杠，因为404错误自带斜杠5打开extel文件，将连接复制下来，粘贴在新建文本里面保存，然后将文本名改为就行了，然后将文件传上FTP网站根目录下面6打开搜索引擎站长工具，点击死链提交，按照要求输入文件，选择更新时间，然后提交刷新就行，搜索引擎站长工具会自动删除
你可以试着去根目录下找一下对应文件，看有没有，蜘蛛不会无缘无故弄个404出来的，推荐解决的方法：1. 去除掉该路劲的链接，网页上看不到，蜘蛛又抓到了，说明你后台源代码里面肯定是写得有的，找到并清除后，可以到网络站长平台使用抓取诊断工具，分析下蜘蛛抓取内容。
2. 因为该路劲已经被判定为404，可以给该路径做个301跳转并到网络站长平台主动提交死链接即可。
