爬虫会导致网站崩溃吗（爬虫爬挂服务器了怎么办）

我朋友的一个网站经常打不开，说要经常重启服务器才能正常访问，他觉得是被什么人攻击了，让我帮他看一下。

结果经过了一番排除之后才知道，原来是有很多未知的爬虫蜘蛛大量抓取网站页面所导致的。这些爬虫大多是国外的一些SEO分析网站的蜘蛛，经调查发现他们抓取我们的网站数据是用于分析数据给他们的用户提供服务的。

这些蜘蛛对我们的网站是没什么好处的，它只会加重我们服务器的负担，所有建议大家可以屏蔽掉这些没有用的蜘蛛爬虫。

现在下面整理了一些可以屏蔽的爬虫蜘蛛。当然，服务器非常好，不差钱的可以不理会：

blexbot

ahrefsbot

ccbot

semrushbot

barkrowler

SemrushBot

Adsbot

DataForSeoBot

建议大家收藏，说不定以后用的着。还有其他类型的欢迎在留言区交流。