awk 进行php日志累计报错统计

fevin 发布于2019-06-27 16:55 / 1104人阅读

摘要：思路将每一行得到的日志通过命令进行处理，利用的全局的特性来累计报错数量。方案我们将从执行命令开始的所有报错的接口地址进行了累计，每一次报错，都将累计的报错数量输出在前，这样可以快速看出到底哪个接口数据量报错比较大。

问题

线上服务器一百多台

通过tail -f /var/log/error_web* 方式来查看，速度滚动刷新太快，而且不方便定位问题

按照前辈的『观察法』，作为新人实在是有难度，所以使用awk命令对输出格式格式化了一下。

思路

将每一行tail得到的日志通过awk命令进行处理，利用awk的BEGIN全局的特性来累计报错数量。

方案

我们将从执行tail命令开始的所有报错的接口地址进行了累计，每一次报错，都将累计的报错数量输出在前，这样可以快速看出到底哪个接口数据量报错比较大。

效果如下

错误次数：33 链接：[REQUEST_URI:xxxxxxxxxxxxxx
[04-Jul-2017 18:32:20 PRC] 95169011-595b6eb3b12291.18851925 PHP Warning:

我们来看下log.sh文件的代码

tail -f /var/log/error_web* | grep . | grep -v "==>" |
awk "
# 定义全局变量，是awk命令的BEGIN用法，还有一个END可以搜下
BEGIN{
    # 每隔接口报错的次数
    errorTimes[0] = 0;
    # 错误详情
    errorDetails[0] = 0;
    # 总的错误次数
    errorCount = 0;
}
{
    # 格式化当前行的内容，得到URL
    # 获取最后的一个字段，这里可以搜下awk命令的NF内置变量
    url = $NF;
    # 将得到的url之后的参数拆掉
    split(url, urlFields, "?");
    url = urlFields[1];
    # 报错数量+1
    errorTimes[url] = errorTimes[url] + 1;
    print("错误次数："errorTimes[url]" 链接："url);
    # 这里是为了打印错误的详情
    print($0);
    print("");
    # 增加总次数
    errorCount = errorCount + 1;

}
"

云服务器 GPU云服务器 nodejs报错日志服务器日志报错如何进行统计分析进行数据统计分析

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/23179.html

awk对php日志进行去重统计排序

摘要：问题查看所有服务器日志频繁刷新无法快速定位问题每次都需要按来终止刷新，查看历史日志无法确定日志的报错数量的分布，来自哪个接口或者服务思路通过命令，执行方法切分当前行的日志拆分后得到，就是最后的接口地址然后对其进行之后的参数拆分，因为我们只需问题查看所有服务器日志频繁刷新无法快速定位问题每次都需要按ctrl+c来终止刷新，查看历史日志无法确定日志的报错数量的分布，来自哪个接口或...

IamDLY 2019-06-27 16:55 评论0 收藏0
shell在手分析服务器日志不愁?

摘要：自己的小网站跑在阿里云的上面偶尔也去分析分析自己网站服务器日志看看网站的访问量。然后统计最终返回的数字就是当前所有端口的已建立连接的总数。自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏！于是收集，整理一些服务器日志分析命令，大家可以试试！ 1、查看有多少个IP访问： awk {print $1} log_file|sor...

fyber 2019-07-25 13:58 评论0 收藏0
Linux运维小命令

摘要：自己的小网站跑在阿里云的上面偶尔也去分析分析自己网站服务器日志看看网站的访问量。表示能够处理个并发请求，这个值可根据负载情况自动调整。最终返回的数字就是当前所有端口的请求总数。自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏！于是收集，整理一些服务器日志分析命令，大家可以试试！ 1、查看有多少个IP访问： awk {pr...

Invoker 2019-07-25 13:49 评论0 收藏0