反诈示警:如遇到文章内跳转至别的网站或产生需要交钱,交易等行为,均为诈骗行为,请谨慎对待。对于网上兼职、刷单、刷信誉的就是诈骗,请勿相信!需要提供身份证明、短信验证和短信链接点击都是诈骗, 请不要提供!同时请下载“国家反诈中心”App能自查自检,规避诈骗电话,免遭损失。
最近安装了蜘蛛分析插件,发现了DataForSeoBot这个蜘蛛,每天爬几百上千的页面,搜了搜,是一个国外的seo运营公司的蜘蛛,换句话说,就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的,这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说,对于被抓取的网站本身来说,无任何价值,甚至有数据被采集的负面影响。
这还有啥说,果断屏蔽啊!
怎么屏蔽DataForSeoBot蜘蛛?
官网宣称DataForSeoBot爬虫支持robots.txt协议,但其实这货不怎么守规矩,robots.txt禁止以后,还爬的飞起。
所以建议需要屏蔽这个蜘蛛的,两手抓:
1、robots.txt协议禁止爬取
User-agent: DataForSeoBot
Disallow: /
2、通过修改Nginx或其它WEB服务器规则禁止抓取
if ($http_user_agent ~* "DataForSeoBot/1.0" )
{
return 403;
}
3、通过禁止蜘蛛IP方式禁止访问
这个办法不推荐,蜘蛛IP有不少,还会新增改变,很难全部禁止掉。
总结:禁止DataForSeoBot爬虫最佳办法就是直接在服务器规则里面禁止,效果最好。
:本文采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可, 转载请附上原文出处链接。
1、本站提供的源码不保证资源的完整性以及安全性,不附带任何技术服务!
2、本站提供的模板、软件工具等其他资源,均不包含技术服务,请大家谅解!
3、本站提供的资源仅供下载者参考学习,请勿用于任何商业用途,请24小时内删除!
4、如需商用,请购买正版,由于未及时购买正版发生的侵权行为,与本站无关。
5、本站部分资源存放于百度网盘或其他网盘中,请提前注册好百度网盘账号,下载安装百度网盘客户端或其他网盘客户端进行下载;
6、本站部分资源文件是经压缩后的,请下载后安装解压软件,推荐使用WinRAR和7-Zip解压软件。
7、如果本站提供的资源侵犯到了您的权益,请邮件联系: 11210980@qq.com 进行处理!
1、本站提供的源码不保证资源的完整性以及安全性,不附带任何技术服务!
2、本站提供的模板、软件工具等其他资源,均不包含技术服务,请大家谅解!
3、本站提供的资源仅供下载者参考学习,请勿用于任何商业用途,请24小时内删除!
4、如需商用,请购买正版,由于未及时购买正版发生的侵权行为,与本站无关。
5、本站部分资源存放于百度网盘或其他网盘中,请提前注册好百度网盘账号,下载安装百度网盘客户端或其他网盘客户端进行下载;
6、本站部分资源文件是经压缩后的,请下载后安装解压软件,推荐使用WinRAR和7-Zip解压软件。
7、如果本站提供的资源侵犯到了您的权益,请邮件联系: 11210980@qq.com 进行处理!
文章版权及转载声明
本文地址:https://www.zycang.com/80113.html
文章转载或复制请以超链接形式并注明来源出处。 本文最后更新于:2022-09-19 23:12:32
声明:某些文章或资源具有时效性,若有 错误 或 所需下载资源 已失效,请联系客服QQ:11210980
请登录后发表评论
注册