ANOMALY BERT 解读

出处： ICLR workshop 2023

代码：Jhryu30/AnomalyBERT

可视化效果：

一  提出动机

动机：无监督 TSAD 领域内，“训练集” 也缺失：真值标签（GT）；换句话说，一个点在训练集内是否异常是未知的  →  data degradation scheme

受 NLP 领域 BERT 的启发，通过替换输入数据的随机部分，训练模型以找到退化部分来修改掩模语言建模（MLM）；此方法有助于检测：真实的时序内的各类非自然序列。

二  Methodology

1. 模型架构：（基于 “预测” 的时序异常检测方法）

2. 详细讲解：

2.2  合成异常及数据增强 

随机选择每个时序窗口内的时序片段，通过下列四种 “合成异常” 方式，进行相应数据增强： 

1. 带有窗口外部的加权序列（软替换），替换为：原始区间和外部区间的加权和；

2. 恒定序列（统一替换）；

3. 加长或缩短的序列（长度调整）；

4. 单个峰值（峰值噪声）。

2.3  训练损失函数：(交叉熵损失)

三. 实验结果