Robots屏蔽了网站的某些目录,为什么还在抓取啊!!-SEO之家
seo之家(Seoeh.Cn)
seo学习之家

Robots屏蔽了网站的某些目录,为什么还在抓取啊!!

本文由 yangxiaoxue 于 2019-09-16 10:01:41 发表

在搜外平台看到这个问题,回答的不太细致,seo之家站长在这里给大家详细说一下关于“Robots屏蔽了网站的某些目录,为什么还在抓取”的问题。原因可能有以下几个:

  • 搜索引擎反应需要一定的时间,等过段时间就可以了
  • 屏蔽的目录是不是可以打开,还能给用户带来价值
  • 检查robots协议写的是否正确
  • 如果这些目录没有价值了,可以直接删除
  • 看一下服务器日志,最近几天抓取的,有没有抓取被屏蔽的页面
  • 如果这些页面已经删除,可以直接在百度站长工具提交 404页面
  • 如果这些页面可以访问,让技术做一个删除处理,在提交 404页面

 

        

       

 

 

 

未经SEO之家(Seoeh.Cn)允许,不得转载本站任何文章:SEO之家 » Robots屏蔽了网站的某些目录,为什么还在抓取啊!!

点赞 (0)or拍砖 (0)
分享到:更多 ()