Apache日志统计举例
加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep、sed、awk和sort等筛选工具帮助你解决这个问题。下面总结了几个常见分析方法。
(1)查看IP($1代表IP)
#cataccess_log | awk '{print $1}'
(2)对IP排序
#cataccess_log | awk '{print $1}'|sort
(3)打印每一重复行出现的次数,“uniq -c”表示标记出重复数量。
#cataccess_log | awk '{print $1}'|sort|uniq -c
(4)排序并统计行数
#cataccess_log | awk '{print $1}'|sort|uniq -c|sort -rn|wc -l
(5)显示访问前10位的IP地址,便于查找攻击源
#cat access_log|awk '{print $1}'|sort|uniq-c|sort -nr|head -10
注意awk '{print$1',它表示取日志的第一段,如果换成别的日志,其IP地址在第3段那么就要改变相应数值。
(6)显示指定时间以后的日志($4代表时间)
#cat access_log |awk'$4>="[23/Jul/2012:01:00:01"' access_log
推荐大家在排错时,同时打开多个终端,比如在一个窗口中显示错误日志,在另一个窗口中显示访问日志,这样就能够随时获知网站上发生的情况。
(7)找出访问量最大的IP,并封掉(对排错很有帮助)
#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |more
9999192.168.150.179
11192.168.150.1
#iptables -I INPUT -s 192.168.150.179 -j DROP
#iptables -I INPUT -s 192.168.150.0/24 -j DROP
如果将上面的Shell做以下变形就可以得出访问量TOP 10
#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |head -10
(8)找出Apache日志中,下载最多的几个exe文件(下载类网站常用,这里以.exe扩展名举例)
[root@localhost httpd]# cataccess_log |awk '($7 ~/.exe/){print $10 "" $1 ""$4""$7}' |sort -n |uniq -c |sort -nr |head -10
2 - 192.168.150.1[25/Jul/2012:05:46:05/test.exe
1 -192.168.150.152[25/Jul/2012:05:46:47/test.exe
使用如下命令:
#cat access_log |awk `($10 >10000000&& $7 ~/.exe/) {print $7}` |sort –n|uniq –c|sort –nr|head -10
这条命令经过增加一个>10000000的条件判断内容就可以显示出大于10MB的exe文件,并统计对应文件发生次数,这条命令对于网站日常分析是非常有帮助的,大家可以灵活使用。
(12)用goaccess工具分析
GoAccess是一款开源、实时,运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计,如果你觉得以上管道、脚本麻烦的话,请用这个工具试试吧。
Debian Linux安装:
#ape-get install goaccess
#goaccess -f /var/log/apache2/access.log
运行效果如下:
轻按下箭头,我们看看goaccess给我们呈现更多的统计数据吧,细心的读者发现BW N /A 带宽怎么没统计出来?下面我们在加一个 -b 参数试试吧,如下图所示。
注意:以上工具和技巧同样适用于Nginx、Squid的访问日志。
版权声明:本文为博主原创文章,未经博主允许不得转载。
分享到:
相关推荐
很多apache日志分析工具都是要安装到服务器上的,而且安装非常麻烦,于是我写了一个单机版(exe,Windows),方便大家分析apache访问日志,绿色版的,直接解压就可以用。 功能: 1、导入apache访问日志; 2、访问...
python apache日志分析 INTERNATIONAL MEDICAL SUMMIT FORUM python apache日志分析 任务背景 操作系统和许多程序会产生各种错误信息、警告信息和其他的提示信息,这种信息会记录到日志里面。系统日志里面有很多东西...
天智Apache日志分析器是一款免费的Apache日志分析工具,使用VC++开发,专用于分析Apache网站日志,可监视、查看和分析Apache服务器日志,统计日志中正常访问和错误日志等信息。
windows端日志分析软件,支持FTP远程获取linux,NT,OS日志
该实验数据主要用于Hive进行Apache Web日志的统计分析学习使用,数据量不是大。
对于大型的WEB服务来说,其往往使用实用负载均衡技术提高web站点服务能力,这样后台有多个服务器提供WEB服务,这大大方便了服务的分布规划和扩展性,但多个服务器的分布就需要对日志进行合并统一进行统计分析。...
通过对web服务器的日志文件进行分析和统计,能够有效的掌握系统运行的情况及站点内容的被访问情况,加强对整个站及其内容的维护与管理; Apache服务器具备强大的日志功能,管理员可以方便、准备、及时地了解服务器...
最近在搞APACHE日志分析,装好了awstats之后,这两天进行了观察, 报表日期 月 1 月 2010 首次参观日期 2010年01月12日 11:04 最近参观日期 2010年01月13日 23:59 参观者 参观人次 网页数 文件数 字节 浏览器流量...
了,因此有可能比其他日志统计工具统计的数字要低,来自公司内部的访问也可以通过IP 过 滤设置过滤掉(暂不提供)。 · 可以生成超过30 个以上的各种图表,并付带有多个3 维统计图.,并且支持导出pdf、excel 等各 式...
Apache服务器配置与管理 Web服务概述 Apache服务器 安装Apache服务器 Apache服务器的基本配置 使用Webalizer进行日志统计分析
它利用一部分档案资料就能经常很快地处理大量日志档案, 它能分析日志文件来自从各大服务器工具 ,如 Apache日志档案 s (NCSA combined/XLF/ELF log format or common/CLF log format), WebStar, IIS (W3C的日志格式)...
1.统计每小时 总请求数 2.404 错误 次数 3.500 错误次数 4.详细错误url ----效果如下---------- *********************00hour(这里划分每小时)********************* total request: 14 times 404 error: 2 times...
0:218M日志文件,分析时间为29.147秒,...5:状态码统计(查看HTTP状态码总计数)。6:搜寻数据(搜寻日志字段,并将搜索结果展现出来)。7:查看IP详细访问(可以查看当前日志,你指定的IP的所有访问,访问间隔)。@qq1101672929。
SVN统计 匹配SVN日志和相关的Apache日志
apache的默认日志文件分析,用于IP统计访问量,查看某一时间段的ip连接数
所以,我就决定自己写一个Bash脚本,统计服务器的日志,顺便温习一下脚本知识。 事实证明,这件事比我预想的难。虽然最终脚本只有20多行,但花了我整整一天,反复查看手册,确认用法和合适的参数。下面就是我的日志...
默认安装配置为读取默认组合的 Apache2 日志格式,但您可以通过编辑 config.inc.php 来调整解析器您还可以在 config.inc.php 中设置其他选项用浏览器打开 index.php。 注意:目前无法上传日志文件,只能解析本地...
linux-Apache配置内容: ...7.2 Red Hat Linux 9 的默认配置 7.3 配置Apache 7.4 访问控制、认证和授权 7.5 组织和管理站点内容 7.6 Apache 的日志管理和统计分析 ... 掌握Apache 的日志管理和统计分析方法
提纲 APACHE日志分析 IIS日志分析 Web服务器日志分析全文共68页,当前为第2页。 APACEH日志分析 web 服务器日志记录了 Web 服务器接收处理请求及运行时错误等各种原始信息 。 通过对日志进行统计 、 分析和综合 , ...