含Timestamp交易数据异常检测无监督算法及Isolation Forest适用性咨询

可用于交易数据异常检测的无监督算法 #

交易数据异常检测核心是识别偏离正常行为模式的样本（比如欺诈交易、错账、异常大额交易等），常用的无监督算法包括以下几类：

• 孤立森林（Isolation Forest）：工业界反欺诈场景落地最广泛的算法之一，不需要假设数据分布，计算效率高，对高维特征的适配性好，擅长识别占比极低的全局离群交易，比如远超用户日常消费区间的大额交易。
• 局部离群因子（LOF）：基于样本邻域密度差判定异常，适合识别局部偏离的交易，比如某用户日常消费都在100元以内，突然出现一笔5000元的交易，这类和用户自身历史行为比异常、但放在全量数据集里不算极端的样本，用LOF识别效果更好，缺点是数据量超过10万级后计算速度会明显变慢。
• 一类支持向量机（One-Class SVM）：适合标注数据极少、几乎只有正常交易样本的冷启动场景，小数据集上精度较高，但高维大数据集训练开销大，不适合千万级交易流水的实时检测。
• 聚类类算法：DBSCAN可以自动识别高密度的正常交易簇，把不属于任何簇的离散点判定为异常，适合识别批量盗刷、团伙欺诈这类成组出现的异常交易；K-Means通过计算样本到所属簇中心的距离判定异常，实现简单易部署，但需要提前指定簇数量，对非球状分布的交易数据适配性差。
• 时序专属异常算法：针对带时间戳的流式交易数据，可以用LSTM自编码器、Prophet阈值检测、滑动窗口统计结合孤立森林的方案，专门识别时间维度的异常，比如用户日常活跃时间是白天，突然出现凌晨3点的跨境交易、1分钟内连续发起10笔交易这类违反时间行为规律的异常。

Isolation Forest对带DateTime列交易数据的适配性 #

原生Isolation Forest不支持直接传入DateTime类型列。算法底层是基于数值特征做随机空间切分来计算异常分，无法直接解析时间对象、时间字符串的语义，直接传入原始DateTime格式的列会触发类型错误。

只要提前对DateTime列做数值化预处理，Isolation Forest完全可以胜任带时间戳的交易数据异常检测任务，而且效果通常不错。常用的预处理方式有两种：

1. 直接转换为Unix时间戳（整数数值，代表从1970-01-01 UTC到交易时间的秒/毫秒数），可以保留时间的先后顺序信息，适合快速验证效果。
2. 结合业务拆解为可解释的数值型时间特征，这类特征对检测效果的提升更明显，常用的衍生特征包括交易发生的小时、是否为工作日/节假日、距离当前用户上一笔交易的时间间隔、当前交易是用户当天第几笔交易等。

可以参考下面的pandas代码完成时间特征预处理：

import pandas as pd
# 先把原始时间列统一转换为pandas datetime格式
df['Transaction_Time'] = pd.to_datetime(df['Transaction_Time'])
# 转换为Unix秒级时间戳
df['ts_unix'] = df['Transaction_Time'].astype('int64') // 10**9
# 衍生业务时间特征
df['tx_hour'] = df['Transaction_Time'].dt.hour
df['is_weekend'] = df['Transaction_Time'].dt.weekday >= 5
# 计算每个用户距离上一笔交易的间隔秒数
df['gap_from_last_tx'] = df.groupby('UserID')['Transaction_Time'].diff().dt.total_seconds()

补充说明：Isolation Forest本身非常适配交易异常检测场景，它的核心逻辑是“越容易通过随机切分被分离出来的样本，异常概率越高”，刚好匹配交易场景中异常样本占比极低、特征分布和正常样本差异明显的特点，只要做好时间特征的工程处理，完全可以落地使用。

内容的提问来源于stack exchange，提问作者Pry760