python处理iis日志

http://my.oschina.net/courade/blog/135096

2013

        最近写了一个简单的使用python分析iis日志的小demo，用于自己练手，写的不好还要请高手多多指教。

代码的整体思路：

1、首先获得位于iislog文件夹下的日志文件
    定义了一个getfiles 函数，参数为目录名字
2、使用for循环遍历读取到的文件，用while循环读取文件中的每一行
3、在while选择将获得行进行处理，iis日志文件遵循一定的规律,处理起来还是比较容易的
4、将页面作为dict的key，使用 value来记录页面的访问次数
5、循环输出dict
6、使用linux 的sort命令将结果进行排序
以上就是一个基本的思路，鄙人在这里抛砖引玉了。

贴上代码

#! /usr/bin/python
#-*-coding:utf-8-*-
import os
import sys

def getfiles(dirname):
    return os.listdir(dirname)

def  countfiles():
    fpath=os.getcwd()+"/iislog/"
    files=getfiles(fpath)
    line_dic={}
    for f in files: #
        if os.path.isfile(fpath+f):
            fhandle=open(fpath+f,'r')
            l=fhandle.readline()
            while l:
                if l.startswith("#"):
                    l=fhandle.readline()
                    continue
                else:
                    file_line=l.split()
                    if file_line[4].endswith('.asp') or file_line[4].endswith('.aspx') or file_line[4].endswith('.html'):
                        url=file_line[3]+file_line[4]
                        if url not in line_dic:
                            line_dic[url]=1
                        else:
                            line_dic[url]=line_dic[url]+1
                    l=fhandle.readline()
    for k in line_dic:
        print k+'\t'+str(line_dic[k])
if __name__=="__main__":
    countfiles()

使用说明

1、将日志文件放在iislog文件夹中
2、将代码文件放在iislog的上级目录中
3、运行python iislog.py |sort -nk 2 -r
4、耐心等待就可以了
最后贴上部分结果

前面的字符串表示请求的方式以及页面，后面的数字表示访问的次数

GET/frame.asp	71990
GET/head.asp	11612
GET/loading.asp	9884
POST/choose/person.asp	7887
POST/house/query.asp	7720
POST/sales/detail_union_query.asp	7052
POST/choose/buy_search.asp	6850
POST/sales/sales_union_query.asp	6823
POST/choose/house.asp	6729
POST/choose/buy_goods_search2.asp	6504
POST/sales/union_show.asp	5496
POST/choose/contacts.asp	5494
POST/base/goods.asp	4868
POST/base/contacts_form.asp	4805