网站维护之搜索引擎优化每天需要做的工作
网站维护工作涵盖的范围很广,具体到搜索引擎优化,可以每天统计并整理网站访客日志中搜索引擎爬虫的如下数据,依据统计和数据,针对各项参数变动情况作出对应的问题排查、页面优化及内容更新调整等操作
以数据分析为基础的网站维护提升
爬虫总抓取量
统计不重复抓取数量
统计所有状态码数量
统计404页面的抓取数量
统计404响应码占总响应码比率
统计各个目录出现404响应码次数
爬虫非200状态码抓取占比
统计某个目录抓取次数
统计每个ip下对应URL的抓取次数
到访爬虫数量统计
提取蜘蛛访问数量前10的网站目录及访问次数,并按降序排列
统计首页抓取的次数占总体抓取次数比率
计算抓取总字节数
提取某个目录百度蛛蛛访问次数
打印非200状态码的url
爬虫时间段的情况
计算百度抓取总时间与总抓取次数
访问量最大的前20个ip
列出传输大小最大的几个文件
列出最最耗时的页面(超过60秒的)的以及对应页面发生
以上参数,对于发现搜索引擎爬虫的爬取规律、找到网站的结构不足、提升网站的用户体验等多个角度都能所借鉴。网站维护方面,可以以次为切入点,会发现很多网站可以优化的地方。