使用Python解析nginx日志文件

bawn 发布于2019-07-24 17:58 / 2371人阅读

摘要：项目的一个需求是解析的日志文件。项目中已经按照业务规则对日志文件进行了处理命名规则如下并且所有的日志文件存放在统一路径下。模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。剩下的工作就是根据业务需要，对获得的基本信息进行处理。

项目的一个需求是解析nginx的日志文件。
简单的整理如下：

日志规则描述

首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式：

 log_format  main  "$remote_addr - $remote_user [$time_local] "$request" "
                   "$status $body_bytes_sent "$http_referer" "
                   ""$http_user_agent" "$http_x_forwarded_for"";

其中一条真实记录样例如下：

172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"

其中，客户端型号信息用XXXXXXX代替。

项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下：

ID-ID-YYMMDD-hhmmss

并且所有的日志文件存放在统一路径下。

解决思路

获取所有日志文件path

这里使用Python的glob模块来获取日志文件path

import glob


def readfile(path):
    return glob.glob(path + "*-*-*-*")

获取日志文件中每一行的内容

使用Python的linecache模块来获取文件行的内容

import linecache


def readline(path):
    return linecache.getlines(path)

注意：linecache模块使用了缓存，所以存在以下问题：

在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用linecache.updatecache(filename)来更新缓存，以获取最新变化。

linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行linecache.clearcache()清空一下缓存。

当然，作为优化，这里可以利用生成器来进行优化。暂且按下不表。

处理日志条目

一条日志信息就是一个特定格式的字符串，因此使用正则表达式来解析，这里使用Python的re模块。
下面，一条一条建立规则：

规则

    ip = r"?P[d.]*"
    date = r"?Pd+"
    month = r"?Pw+"
    year = r"?Pd+"
    log_time = r"?PS+"
    method = r"?PS+"
    request = r"?PS+"
    status = r"?Pd+"
    bodyBytesSent = r"?Pd+"
    refer = r"""?P
             [^"]*
             """
    userAgent=r"""?P
                .*
               """

解析

p = re.compile(r"(%s) - - [(%s)/(%s)/(%s):(%s) [S]+] "(%s)?[s]?(%s)?.*?" (%s) (%s) "(%s)" "(%s).*?"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)
m = re.findall(p, logline)

这样，就可以得到日志条目中各个要素的原始数据。

格式及内容转化

得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。
这里需要处理的内容包括：时间，request，userAgent

时间格式转化

在日志信息原始数据中存在Dec这样的信息，利用Python的time模块可以方便的进行解析

import time


def parsetime(date, month, year, log_time):
    time_str = "%s%s%s %s" %(year, month, date, log_time)
    return time.strptime(time_str, "%Y%b%d %H:%M:%S")

解析request

在日志信息原始数据中得到的request的内容格式为：

/report?XXXXXX

这里只需要根据协议取出XXXXXX即可。
这里仍然采用Python的re模块

import re


def parserequest(rqst):
    param = r"?P.*"
    p = re.compile(r"/report?(%s)" %param, re.VERBOSE)
    return re.findall(p, rqst)

接下来需要根据业务协议解析参数内容。这里需要先利用base64模块解码，然后再利用struct模块解构内容：

import struct
import base64


def parseparam(param):
    decodeinfo = base64.b64decode(param)
    s = struct.Struct("!x" + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + "xii12x")
    return s.unpack(decodeinfo)

解析userAgent

在日志信息原始数据中userAgent数据的格式为：

XXX; XXX; XXX; XXX

根据业务要求，只需要取出最后一项即可。
这里采用re模块来解析。

import re


def parseuseragent(useragent):
    agent = r"?P.*"
    p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)
    return re.findall(p, useragent)

至此，nginx日志文件解析基本完成。
剩下的工作就是根据业务需要，对获得的基本信息进行处理。
（完）

GPU云服务器云服务器解析日志文件 python 处理日志文件 python文件语句解析 nginx日志

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/37530.html

使用Python解析nginx日志文件

摘要：项目的一个需求是解析的日志文件。项目中已经按照业务规则对日志文件进行了处理命名规则如下并且所有的日志文件存放在统一路径下。模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。剩下的工作就是根据业务需要，对获得的基本信息进行处理。项目的一个需求是解析nginx的日志文件。简单的整理如下：日志规则描述首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式： ...

Baaaan 2019-07-25 13:28 评论0 收藏0
利用MongoDB分析Nginx日志

摘要：通过通过入库后使用进行查询的方式可以通过如下种图片来查看在上图中主要是查看日志中请求状态码的总数量。原文地址: http://52sox.com/use-mongodb-... 在项目开发过程中,总是离不开日志解析的工作,虽然有些时候觉得确实挺繁琐的,但是静下心来会发现有时候也是挺有趣的1件工作。在这里,我们要从日志文件中找出IP访问最多的10条记录,然后判断其是否合法,从而采取...

edgardeng 2019-07-25 13:48 评论0 收藏0
利用MongoDB分析Nginx日志

摘要：通过通过入库后使用进行查询的方式可以通过如下种图片来查看在上图中主要是查看日志中请求状态码的总数量。原文地址: http://52sox.com/use-mongodb-... 在项目开发过程中,总是离不开日志解析的工作,虽然有些时候觉得确实挺繁琐的,但是静下心来会发现有时候也是挺有趣的1件工作。在这里,我们要从日志文件中找出IP访问最多的10条记录,然后判断其是否合法,从而采取...

LiuZh 2019-07-31 10:54 评论0 收藏0
利用MongoDB分析Nginx日志

摘要：通过通过入库后使用进行查询的方式可以通过如下种图片来查看在上图中主要是查看日志中请求状态码的总数量。原文地址: http://52sox.com/use-mongodb-... 在项目开发过程中,总是离不开日志解析的工作,虽然有些时候觉得确实挺繁琐的,但是静下心来会发现有时候也是挺有趣的1件工作。在这里,我们要从日志文件中找出IP访问最多的10条记录,然后判断其是否合法,从而采取...

Ajian 2019-06-26 17:09 评论0 收藏0