近期通过日志分析发现DataForSeoBot爬虫最近大量抓取本站页面数据，且频次非常高，极大消耗服务器资源。它究竟是个什么来头？通过爬虫附带的URL链接，找到其官网，发现对本站无任何价值所以果断屏蔽。
DataForSeoBot爬虫是什么
许多人会将 DataForSEO Link Bot 视作另一个搜索引擎的网络爬虫。其实不然。
DataForSEO 是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来创造公平的竞争环境。
换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说，对于被抓取的网站本身来说，无任何价值，甚至有数据被采集的负面影响。
如何禁止DataForSeoBot爬虫？
官网宣称DataForSeoBot爬虫支持robots.txt协议，但在百度搜索中发现，有站长吐槽它不太守规矩。所以建议通过同时使用以下两种方式来禁止它。
1、robots.txt方法
User-agent: DataForSeoBot
Disallow: /2、通过修改Nginx或其它WEB服务器规则禁止抓取
Nginx禁止DataForSeoBot爬虫规则如下：
if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
return 403;
}另外还可以通过禁止IP访问权限的方式，但IP地址可能会变更，所以不推荐封禁IP。
原文地址：https://www.zhanzhangb.com/3204.html
