Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案

反诈示警:如遇到文章内跳转至别的网站或产生需要交钱,交易等行为,均为诈骗行为,请谨慎对待。对于网上兼职、刷单、刷信誉的就是诈骗,请勿相信!需要提供身份证明、短信验证和短信链接点击都是诈骗, 请不要提供!同时请下载“国家反诈中心”App能自查自检,规避诈骗电话,免遭损失。

在《WordPress 屏蔽恶意搜索,防止被搜索引擎收录恶意搜索结果》中,倡萌提到了网站被恶意搜索攻击,已经给出了一些处理方案,但是最近查看 Google Search Console 的覆盖率,看到了“已编入索引,尽管遭到 robots.txt 屏蔽”的警告,一看具体的网址,几万条全部都是恶意搜索结果。

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图,来源:资源仓库www.zycang.com

查看了google官方文档《已编入索引,但被 robots.txt 屏蔽了》,了解到通过 robots.txt 并不能阻止Google索引恶意搜索结果:

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图1,来源:资源仓库www.zycang.com
Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图2,来源:资源仓库www.zycang.com

而是需要通过使用“noindex”阻止搜索引擎编入索引

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图3,来源:资源仓库www.zycang.com

重要提示:为让 noindex 指令生效,网页不得被 robots.txt 文件屏蔽,并且必须能被抓取工具访问。如果该网页被 robots.txt 文件屏蔽或抓取工具无法访问该网页,那么抓取工具将永远无法看到 noindex 指令,因此该网页可能仍会显示在搜索结果中,例如,如果有其他网页链接到该网页的话。

我们不能在 robots.txt 屏蔽google蜘蛛访问搜索结果网址,但是倡萌并不清楚百度等其他搜索引擎是否会遵循 noindex 指令,所以我们在 robots.txt 中允许谷歌蜘蛛抓取搜索结果页面,但是禁止其他搜索引擎抓取。

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图4,来源:资源仓库www.zycang.com

按照《WordPress 屏蔽恶意搜索,防止被搜索引擎收录恶意搜索结果》 处理过的恶意搜索结果页面,会返回404状态码,并且源码中包含了 <meta name="robots" content="noindex">

Google Search Console 警告“已编入索引,尽管遭到 robots.txt 屏蔽” 的处理方案,插图5,来源:资源仓库www.zycang.com

这样一来,google蜘蛛就可以读取到该指令,不再索引被屏蔽关键词的恶意搜索结果页面。

以上步骤处理完以后,在 Google Search Console 覆盖率的警告界面,提交验证,然后耐心等待处理。

如需 WordPress 优化加速、二次开发、网站维护、企业网站建设托管等服务,点此联系我 | 近期站内热门福利推荐:
文章版权及转载声明

本文地址:https://www.zycang.com/73769.html
文章转载或复制请以超链接形式并注明来源出处。 本文最后更新于:2022-08-21 14:42:24
声明:某些文章或资源具有时效性,若有 错误 或 所需下载资源 已失效,请联系客服QQ:11210980

喜欢就支持一下吧
点赞140赞赏 分享
相关推荐
评论 抢沙发

请登录后发表评论