EmEditor与248GB的日志分析世界


EmEditor是一款轻便易用可扩展的Windows文本编辑器,有64/32位两个版本,读取2G以上的大文件是它的强项。

读取2GB以上大的文件,对于4G或8GB内存的机器来说是件容易的事,读取超过机器内存容量的文件,大多编辑器都无能为力。EmEditor可以处理大型文件,无需使用大量的内存,在Windows7上编辑一个7.18GB的文件,EmEditor只需要50MB内存。EmEditor最大能打开248GB或21亿行的大型文件。

EmEditor进行DFIR和日志分析

日志分析通常要处理超过60GB的日志(Exchange服务器或防火墙),日志分析大致分两种模式,通过脚本工具做常规分析,常规分析工具(Bash,PowerShell,Perl和Python),在分析多样化的日志文件时,缺乏一定的灵活性。当寻找一些未知的因素或模式时,需要人工进行分析和归纳,当然AI智能防御的出现,这种情况有所改观。

当寻找一些未知的元素、恶意模式、攻击者的痕迹、可疑行为、深入到特定时间并寻找异常事件时。不能通过编写脚本来分析,分析人员需要运用他们的大脑来分析日志,以有效识别可疑元素或模式,并找到无法预料的多重线索。

这种情况下分析人员需要更直观的分析日志工具,界面越灵活,使用的效果就越好,比较著名的工具如:HighlighterMicrosoft LogParser,Microsoft Excel 64位,Notepad ++,LogMX,LogExpert。

日志分析的5种方法和相关工具

shell分析

根据所在的操作系统,选择合适的命令。

GUI文本/日志编辑器

本文提到这种情况。

日志数据库分析

在某些情况下,需要将日志导入到数据库中,通过SQL查询语句执行搜索。当需要重复对相同数量的数据,执行复杂查询时,这种方法是最佳选择。这种场景下需要一个好用的,可视化的数据库工具来执行查询和展示结果。如果使用MySQL数据库,可以试试这三款MySQL客户端工具

程序日志分析

在某些场景中,处理大量程序日志记录,分析人员可能会使用ELK平台(Elasticsearch,Logstash和Kibana)以灵活快速的获取分布在多台机器上的日志。这就需要有一个能够获取,存储和可视化的平台。如Graylog基于MongoDB的Elastic Stack的日志系统,此解决方案不适用于实时查看需要。

日志管理器/ SIEM

当需要从很久以前的数据中,找寻某一个事件的关联,这种方法绝对是首选,最好是使用大数据平台来存储和检索数据。SIEM在业界比较出名有LogRhythm,Intel(Nitro),IBM QRadar和Splunk。SIEM主要是面向企业,与现在的大数据分析异曲同工。

当然如果对日志分析的要求很高,可以试试X-Ways Forensics。
 


本文标题:EmEditor与248GB的日志分析世界
转载请保留页面地址:https://xieyonghui.com/tech/emeditor_182.html
已有0人评论

评论专区