日志作为记录高性能计算环境中各类事件的服务,可以为相关人员提供关键信息,支持环境稳定运行、资源高效利用、提供优质用户服务,因此日志处理分析工作对维护环境运行具有重要意义。高性能计算环境日志分析框架LARGE作为国家高性能计算环境系统服务的一部分,通过对日志进行分类获取环境事件种类信息,并采用基于机器学习的日志分析方法从日志流量、日志关联性等多种角度检测环境异常事件,最终集成各个分析结果形成环境运行状态诊断可视化界面。
日志分类工具LARGE-PattEx是LARGE工具集中的一项工具,可获取目标日志数据集中所有出现过的日志句式模板,有助于获知数据来源环境中发生过的事件类型,判断其中的异常和各类问题。