一种全新的日志异常检测评估框架：LightAD

深度学习（DL）虽然在日志异常检测中得到了不少应用，但在实际轻量级运维模型选择中，必须仔细考虑异常检测方法与计算成本的关系。具体来说，尽管深度学习方法在日志异常检测方面取得了出色的性能，但它们通常需要更长的时间来进行日志预处理、模型训练和模型推断，从而阻碍了它们在需要快速部署日志异常检测服务的在线分布式云系统中的采用。

本文对现有的基于经典机器学习和深度学服务器托管网习方法的日志异常检测方法进行了实证研究，并提出了一种自动化日志异常检测评估框架LightAD。

1. 日志异常检测介绍

日志是AIOps领域需要处理的常见数据，是程序运行过程中由代码打印出的一些非结构化的文本信息，日志通常由时间戳和文本信息组成。日志实时记录了系统的运行状态，包括正常运行状态和故障发生时的状态。因此通过收集和分析日志，可以快速检测和定位出系统中存在的异常。

本文研究了深度学习方法在日志异常检测中与更简单技术相比的优越性，在五个公共的日志异常检测数据集上对轻量级传统机器学习方法（如KNN、SLFN）和深度学习方法（如CNN、NeuralLog）进行了全面的评估。

本文的研究结果表明，通过合适的数据处理方式，轻量级机器学习方法能够在时间效率和准确性方面都优于深度学习方法。为了评估深度学习方法的必要性，本文提出了一种自动化的日志异常检测模型评估框架LightAD。LightAD是一种基于贝叶斯优化器的优化训练时间、推断服务器托管网时间和性能得分的评估框架。通过自动化超参数调优，LightAD可以实现在日志异常检测模型之间进行公正的比较，使运维工程师能够针对不同的在线异常检测目标来选择合适的异常检测模型。

2. 对现有方法的全面评估

模型收益的多目标优化公式如下：

下图是在去除重复数据的HDFS数据集上使用LightAD进行异常检测方法优化和评估的结果，最高模型收益的分数由黑色加粗标识。从图中可以看出，LightAD挑选出的模型都是轻量级的机器学习方法。

4. 总结

本文来自华为云PaaS技术创新Lab和香港中文大学（深圳）贺品嘉助理教授团队合作项目成果产出，相关研究成果已被软件工程领域顶会ICSE 2024（CCF A类）正式录用，文章详细内容即将公开，敬请关注。