Nginx/Apache恶意User-Agent过滤列表屏蔽蜘蛛爬虫教程宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取-资源仓库

反诈示警：如遇到文章内跳转至别的网站或产生需要交钱，交易等行为，均为诈骗行为，请谨慎对待。对于网上兼职、刷单、刷信誉的就是诈骗，请勿相信！需要提供身份证明、短信验证和短信链接点击都是诈骗，请不要提供！同时请下载“国家反诈中心”App能自查自检,规避诈骗电话,免遭损失。

前言：有些网站不想做SEO，加上可能配置不好，各大搜索引擎蜘蛛的抓取反而给服务器造成了压力。

Nginx/Apache恶意User-Agent过滤列表屏蔽蜘蛛爬虫教程宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取，插图，来源：资源仓库www.zycang.com
方案2：在宝塔面板找到对应的网站，点击设置，点击配置文件，加入以下代码：

if ($http_user_agent ~* "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub-client|Harvest|hloader|httplib|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|JennyBot|k2spider|Kenjin Spider|Keyword Density0.9|larbin|LexiBot|libWeb|LinkextractorPro|linko|LinkScan8.1a Unix|LinkWalker|LNSpiderguy|lwp-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient.com|ProPowerBot2.14|ProWebWalker|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck.Internetseer.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz1.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader6.9|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr-agent|WWW-Collector-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files|BOT/0.1|YisouSpider|Jullo|YandexBot|WinHttp|Linguee Bot|HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|hydra|Parser|libwww|BBBike|sqlmap|w3af|owasp|Nikto|fimap|havij|zmeu|FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|BabyKrokodil|netsparker|httperf|BLEXBot| SF/") {
      return 403; }

Nginx/Apache恶意User-Agent过滤列表屏蔽蜘蛛爬虫教程宝塔网站如何屏蔽蜘蛛禁止某些蜘蛛爬取，插图1，来源：资源仓库www.zycang.com
Nginx内部标志UA的变量为 $http_user_agent，想要屏蔽某个UA，找到其它UA的关键词，按上面的设置即可。

：本文采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接。
1、本站提供的源码不保证资源的完整性以及安全性，不附带任何技术服务！
2、本站提供的模板、软件工具等其他资源，均不包含技术服务，请大家谅解！
3、本站提供的资源仅供下载者参考学习，请勿用于任何商业用途，请24小时内删除！
4、如需商用，请购买正版，由于未及时购买正版发生的侵权行为，与本站无关。
5、本站部分资源存放于百度网盘或其他网盘中，请提前注册好百度网盘账号，下载安装百度网盘客户端或其他网盘客户端进行下载；
6、本站部分资源文件是经压缩后的，请下载后安装解压软件，推荐使用WinRAR和7-Zip解压软件。
7、如果本站提供的资源侵犯到了您的权益，请邮件联系： 11210980@qq.com 进行处理!

如需 WordPress 优化加速、二次开发、网站维护、企业网站建设托管等服务，点此联系我 | 近期站内热门福利推荐：