该网站的robots.txt文件存在限制怎么办

访问:1011 次     发布时间:2019-05-29 21:46:02
  百度搜索出现该网站的robots.txt文件存在限制,怎么解决?
  
  解决方法很简单:
  
  1、ftp打开网站空间,在网站根目录把网站的robots.txt文件下载下来。直接清空,上传。
  
  2、或者直接删除robots.txt文件。
  
  3、或者写成下面:
  
  User-Agent:  *
  
  Allow:  /
  
  这样搜索引擎就会抓取。不过当你修改之后,可能还需要搜索引擎适应一段时间,这个时间长短主要取决于搜索引擎过来抓取的频度,如果是天天来,可能需要一周时间能让快照变正常。

 
  我们可以看一下淘宝的robots.txt文件写法:

  代码的意思是禁止搜索引擎收录,如果是错误操作的话,改过来就好了。