python分析accesslog并排序
最近面试的一个问题,面的时候脑子卡壳了,面完刚出公司就想起来,很尴尬。于是记录一下。
数据是这样的:
121.31.95.182 - - [06/Aug/2015:08:04:41 +0800] "GET /user.php?do=GetGiftAward&phpp=ANDROID_91&phpl=ZH_CN&pvc=1.5.3&pvb=2014-10-22%2017%3a17%3a26&v=9099 HTTP/1.1" 200 250 "-" "Dalvik/1.6.0 (Linux; U; Android 4.4.4; HM NOTE 1LTE MIUI/V6.6.1.0.KHICNCF)"
很普通的nginx日志
问题是:
如果这样的数据有100行怎么找出日志里IP次数出现最多的5个,1W行呢。
思路其实很简单:
打开一个文件句柄,每次读一行,然后通过split切割出ip,记录到字典中,当时面试的时候卡在排序了,脑子一片糊涂- -。 其实很简单 用sorted函数 以value当成排序的key 排好序后翻转一下,这样出现次数多的就在前面了。然后顺序打印即可
#!/usr/bin/env python
data={}
fp=open('/tmp/access.log','rb')
while True:
fdata=fp.readline()
if not fdata :
break
ip = fdata.split()[0]
if ip in data:
data[ip]+=1
else:
data[ip]=1
#sort
print sorted(data.items(),key=lambda d:d[1],reverse=True)[0:5]
-----------------------------------------------------------------------------------------8月11日更新,当时面试时考虑的排序方法:
冒泡
sortList=data.keys()
length=len(sortList)
for i in xrange(length):
for j in xrange(i):
if data[sortList[j]] > data[sortList[i]]:
sortList[j],sortList[i] = sortList[i],sortList[j]
PS:shell版本 cat /tmp/access.log | awk '{print $1}' | sort | uniq -c| sort -k1nr|head -5
转载于:https://blog.51cto.com/warcraft3/1682150