大家好，我是大白，少而好学，如日出之阳；壮而好学，如日中之光；志而好学，如炳烛之光。依旧感谢各位小伙伴的一路支持与陪伴。
今天分享大白的渗透安全之Web日志分析分析篇，针对网络攻击不仅仅针对客户端系统进行攻击，还有web攻击，同样我们在搭建WEB时也对中间件等系统进行了审计日志，今天我们就说一下怎么做WEB日志分析，同样还是对于好多小伙伴来说，这个更加偏向于安服，总体来说确实更加偏向于安服但是对于安全知识的了解以及更加层次的学习甚至使用都比较重要，我们可以一同研习一下渗透攻防的“魅力”。
Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。
*本篇章将本着学习的态度进行分享，严禁用于个人非法行为以及黑产获取！！！！
我们来看一条Apache的访问日志：
- 127.0.0.1 - - [11/Jun/2018:12:47:22 +0800] "GET /login.html HTTP/1.1" 200 786 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面，是否访问成功。
本文通过介绍Web日志安全分析时的思路和常用的一些技巧。
我们在WEB日志分析之前，先说一下常见的WEB日志类型：
目前常见的WEB日志格式主要由两类，一类是Apache的NCSA日志格式，另一类是IIS的W3C日志格式。NCSA格式又分为NCSA普通日志格式(CLF)和NCSA扩展日志格式(ECLF)两类，目前最常用的是NCSA扩展日志格式(ECLF)及基于自定义类型的Apache日志格式;而W3C扩展日志格式(ExLF)具备了更为丰富的输出信息，本篇主要针对Apache进行分析讲解。
日志分析技巧
在对WEB日志进行安全分析时，一般可以按照两种思路展开，逐步深入，还原整个攻击过程。
第一种：确定入侵的时间范围，以此为线索，查找这个时间范围内可疑的日志，进一步排查，最终确定攻击者，还原攻击过程。
第二种：攻击者在入侵网站后，通常会留下后门维持权限，以方便再次访问，我们可以找到该文件，并以此为线索来展开分析。
常用分析工具：
Window下，推荐用 EmEditor 进行日志分析，支持大文本，搜索效率还不错。
Linux下，使用Shell命令组合查询分析。
Shell+Linux命令实现日志分析，一般结合grep、awk等命令等实现了几个常用的日志分析统计技巧。
Apache日志分析技巧：
- 1、列出当天访问次数最多的IP命令：
- cut -d- -f 1 log_file|uniq -c | sort -rn | head -20
- 2、查看当天有多少个IP访问：
- awk '{print $1}' log_file|sort|uniq|wc -l
- 3、查看某一个页面被访问的次数：
- grep "/index.php" log_file | wc -l
- 4、查看每一个IP访问了多少个页面：
- awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
- 5、将每个IP访问的页面数进行从小到大排序：
- awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
- 6、查看某一个IP访问了哪些页面：
- grep ^111.111.111.111 log_file| awk '{print $1,$7}'
- 7、去掉搜索引擎统计当天的页面：
- awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l
- 8、查看2018年6月21日14时这一个小时内有多少IP访问:
- awk '{print $4,$1}' log_file | grep 21/Jun/2018:14 | awk '{print $2}'| sort | uniq | wc -l
日志分析案例
Web日志分析实例：通过nginx代理转发到内网某服务器，内网服务器某站点目录下被上传了多个图片木马，虽然II7下不能解析，但还是想找出谁通过什么路径上传的。
在这里，我们遇到了一个问题：由于设置了代理转发，只记录了代理服务器的ip，并没有记录访问者IP？这时候，如何去识别不同的访问者和攻击源呢？
这是管理员日志配置不当的问题，但好在我们可以通过浏览器指纹来定位不同的访问来源，还原攻击路径。
1、定位攻击源
首先访问图片木马的记录，只找到了一条，由于所有访问日志只记录了代理IP，并不能通过IP来还原攻击路径，这时候，可以利用浏览器指纹来定位。
- Mozilla/4.0+(compatible;+MSIE+7.0;+Windows+NT+6.1;+WOW64;+Trident/7.0;+SLCC2;+.NET+CLR+2.0.50727;+.NET+CLR+3.5.30729;+.NET+CLR+3.0.30729;+.NET4.0C;+.NET4.0E)
2、搜索相关日志记录
通过筛选与该浏览器指纹有关的日志记录，可以清晰地看到攻击者的攻击路径。
3、对找到的访问日志进行解读，攻击者大致的访问路径如下：
- A、攻击者访问首页和登录页
- B、攻击者访问MsgSjlb.aspx和MsgSebd.aspx
- C、攻击者访问Xzuser.aspx
- D、攻击者多次POST（怀疑通过这个页面上传模块缺陷）
- E、攻击者访问了图片木马
打开网站，访问Xzuser.aspx，确认攻击者通过该页面的进行文件上传了图片木马，同时，发现网站了存在越权访问漏洞，攻击者访问特定URL，无需登录即可进入后台界面。通过日志分析找到网站的漏洞位置并进行修复。
日志统计分析技巧
统计爬虫：
- grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq
统计浏览器：
- cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100
统计网段：
- cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200
统计域名：
- cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more
URL 统计：
- cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more
文件流量统计：
- cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
- grep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
URL访问量统计：
- cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort -rn | more
*本篇章将本着学习的态度进行分享，严禁用于个人非法行为以及黑产获取！！！！
以上就是本次的渗透安全之Web日志分析分析篇分享，一句忠告：业务备份一时不做一时爽，问题出现两行泪，感谢大佬们的参阅，此贴先到这里后续会带上更加实用的帖子，感谢大家！
励志分享超清壁纸语句~~：
真正的价值并不在人生的舞台上，而在我们扮演的主角中。——席勒
好的今天就到这里，老样子，感谢各位大神的参阅，孩子为了挣豆子不容易，孩子家里穷没豆子吃饭了！！！  | 
楼主
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
发表于 2023-6-19 14:43
技术研究员3级 
