告警关联综述学习笔记 taro Posted on Dec 21 2021 # 基础定义 - 原始告警：由IDS安全设备上报的告警 - 超告警：由多个原始告警合并生成的告警 - 告警聚合：由同一安全事件引起的特征相同或者相似的告警合并成的告警 - 告警关联：将同一个攻击过程的多个单步攻击动作所诱发的告警联系在一起，重建攻击线程 - 攻击线程：多个单步攻击动作按照一定次序构成攻击过程 - 攻击场景：由一个或者多个攻击线程组成，刻画系统面临的安全威胁和攻击者意图 # 聚合算法 ## 预处理 ### IDMEF 规范 > IDMEF数据模型以面向对象的形式表示探测器传递给控制台的警报数据，设计数据模型的目标是为警报提供确定的标准表达方式，并描述简单警报和复杂警报之间的关系。 IDMEF数据模型各个主要部分之间的关系如概述图所示。 所有IDMEF消息的最高层类是IDMEF-Message，每一种类型的消息都是该类的子类。IDMEF目前定义了两种类型的消息：Alert（警报）和Heartbeat（心跳），这两种消息又分别包括各自的子类，以表示更详细的消息。 需要注意的是，IDMEF数据模型并没有对警报的分类和鉴别进行说明。例如，对一个端口的扫描，一个分析器可能将其确定为一个多目标的单一攻击，而另一个分析器可能将其确定为来自同一个源的多次攻击。只有一个分析器决定了发送的警报类型，数据模型才能规定怎样对这个警报进行格式化。 IDMEF数据模型是用统一建模语言（UML）描述的。UML用一个简单的框架表示实体以及它们之间的关系，并将实体定义为类。IDMEF包括的主要类有IDMEF-Message类、Alert类、Heartbeat类、Core类、Time类和Support类，这些类还可以再细分为许多子类。 > 是否适合HIDS维度？ ## 告警聚合 ### 基于相似度方法 由相同攻击类型引起的告警信息特征（属性）具有相似性，因此可以通过比较告警属性的相似性来聚合告警信息。 #### 概率统计方法 通过定义**属性相似度函数**，设计**属性特征多元匹配算法**，**计算告警整体的相似性**，以将**告警信息进行分组和归并** [Probabilistic alert correlation](http://wenke.gtisc.gatech.edu/ids-readings/prob_corr.pdf) > 从数据中提取哪些特征？ 对误报分类？ #### 隐式聚合组件 建立TACC模型，摘取新告警的部分属性，并**与历史告警进行匹配**，以聚合告警。 [Aggregation and correlation of intrusion-detection alerts](http://wenke.gtisc.gatech.edu/ids-readings/Herve_Debar_IDS_Correlation_Raid01.pdf) #### 基于攻击类型，空间与时间的冗余告警消减算法 可以消除大量重复告警，但存在的信息损失且规则较为困难，不利于告警信息的后续处理（攻击线程发现）。 多特征关联的入侵事件冗余消除_龚俭.pdf > 更倾向于流量层的源 -> 目的 的冗余消除 ### 基于专家经验 #### 聚类稳定性 基于专家系统定义告警相似性，定义谓词逻辑，通过专家规则定义告警字段的相似性，依赖于专家知识。 [Managing alerts in a multi-instrusion detection environment](https://www.acsac.org/2001/papers/70.pdf) [alert correlation in a cooperative intrusion detection framework](https://cs.fit.edu/~pkc/id/related/cuppens-ieeesp02.pdf) #### 基于专家知识 涉及决策支持模型，定义告警聚合规则，通过人机交互为告警聚合提供依据 **[ids alert classification model construction using decision support techniques]** ### 基于数据挖掘的方法 #### 基于层次的告警聚合方法 现有的聚合技术不能解决误报率高的问题，将属性泛化应用于聚类技术，并提出一种新的采用概念聚类的启发式告警聚合方法，以一般到特殊的方式分解告警属性，对告警信息进行分层，比较两个告警的不同点，并将具有产生相同原因RC（root cause）的告警聚合成一个元告警，然后根据RC过滤误告警。该方法在聚合告警的同时，过滤了误告警蛋该方法并不区分告警不同的属性，而且假设所有的类具有固定大小。 [mining alarm clusters to improve alarm handling efficiency](https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.5.7059&rep=rep1&type=pdf) [Clustering intrusion detection alarms to support root cause analysis](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.136.1949&rep=rep1&type=pdf) **自学习** word2vec NLP文本相似度 丢事件 数据来源不统一 聚合 收基线类的 RASP 基线 命令执行 基线 File 基线 Net 基线 SSH 异常基线（？） Web命令执行（单独告警） （拉代码？） 常用命令不进入语料库 **相似度匹配** -> 离线历史 / 实时历史 主机特征（是否是个乖主机） 关联 （主机特征） 场景： 嗅探 （Rasp ） 命令注入下载木马（木马下载 Rasp 命令执行 Net基线） 挖矿木马 （木马下载 写入crontab Net基线） 小米手机开启wifi ADB Kprobe Hook Linux Kernel