Spider Analyser – WordPress搜索引擎蜘蛛分析插件 – WordPress plugin | WordPress.org
Spider Analyser是一款用于跟踪WordPress网站各种搜索引擎蜘蛛爬行日志的插件，并进行详细的蜘蛛爬行数据统计、蜘蛛行为分析、蜘蛛爬取分析及伪蜘蛛拦截等。
最近试了试蜘蛛分析这款插件，原来大有乾坤。后台数据可以看到有很多蜘蛛到访，最勤快还算Googlebot，当然，到访的还有其他不知名的爬虫，插件有详细的记录，且会对爬虫进行分类，包括搜索引擎类，营销类，其他等。
专业班版提供拦截功能，倒是要去研究一下其他替代产品。
Blackhole for Bad Bots
Blackhole for Bad Bots – WordPress plugin
这是大名鼎鼎BBQ Firewall出品的神器。我试用了一下，在log里面确实能发现一些垃圾Bot到访。
发表回复