大型日志分析利器EmEditor

EmEditor是一款轻便易用的文本编辑器,能打开248GB或21亿行的大型文件。

读取超过机器内存容量的文件,大多编辑器都无能为力。EmEditor可处理大型文件,而无需占用大量内存,对于一个7.18GB文件,EmEditor只需要50MB内存。

日志分析

日志分析通常要处理超过60GB的文件。日志分析大致分两种:

脚本分析:常规处理手法,对多样化日志文件缺乏灵活性。

人工分析和归纳:寻找未知因素和模式。

寻找未知元素、恶意模式、攻击者的痕迹、可疑行为、深入到特定时间寻找异常事件时,不能使用脚本分析,分析人员需运用大脑分析日志,识别可疑元素和模式,找出无法预料的多重线索。

这种场景需要更直观的分析工具,界面越灵活效果就越好,比较著名的工具如:HighlighterMicrosoft LogParser,Microsoft Excel 64位,Notepad ++,LogMX,LogExpert。

注:AI智能防御的出现,这种情况有所改观。

日志分析手段

shell分析

根据所在的操作系统,选择合适的命令。

编辑器

本文提到的这种。

数据库分析

将日志导入到数据库,使用SQL查询语句执行搜索。重复对相同的数据集,执行复杂查询,这是最佳选择。好用的SQL工具会事半功倍。

程序分析

使用ELK平台(Elasticsearch,Logstash和Kibana)灵活快速的,获取分布在多台机器上的日志。这需要一个能够获取存储和可视化的平台。如,Graylog。

日志管理器

从久远的数据中找寻某一个事件的关联,此方法绝对是首选,最好使用大数据平台存储和检索数据。业界比较出名的SIEM:LogRhythm、Intel(Nitro)、IBM QRadar、Splunk。SIEM主要面向企业。如果对日志分析要求很高,可以试试X-Ways Forensics。