网站抓取频次下降的原因及分析
2015-06-11
4011
0
网站抓取频次下降的原因分析一般步骤如下:
1、 通过网站服务器监控工具,查看最近的可用率和响应时间。且尽快让相关人员给予排查,解决服务器问题后,然后重新抓取诊断中“报错”,再提高抓取频次。
2、 查看站长平台信息提醒中是否有邮件提醒“Baiduspider 通过解析到IP,无法正常抓取网站”,如有提醒请参考上面步骤“1”进行排查。
3、 通过日志分析,查看抓取总数、各个页面类型抓取量、抓取状态码等等。找出抓取异常的页面类型。
4、 了解网站最近改版动态及Robots文件书写规则是否有误,是否有误屏蔽蜘蛛操作。
5、 查看百度站长平台官方报道,确认百度内部是否做调整。如果百度有调整,则持续监控一段时间。
6、 如上述均没有异常,可在百度站长平台进行问题反馈。
以上是个人一些操作经验,步骤的先后顺序可按实际情况进行调整,一般影响抓取问题的有以下几点:服务器连接错误、url规范、重定向错误、robots封禁问题、DNS问题等等。