如何将时间序列间的DTW距离映射为概率以判断相似性

这确实是个非常实际的痛点——固定阈值在面对未知数据分布时，很容易出现误判或者适配性差的问题。把DTW距离映射成相似性概率，确实能让判断机制更灵活、更贴合数据本身的特征。下面我给你梳理几个可落地的思路和实现方向：

本质上我们要做的是把连续的DTW距离值转换为[0,1]区间的概率值，这里的概率可以理解为「当前DTW距离对应的两个序列属于‘相似类’的置信度」——概率越高，代表序列越相似。

1. 基于标注数据的参数化映射（最优方案，有标注时优先用） #

如果能拿到一批标注好的「相似/不相似」样本对（或者可以通过聚类生成伪标注样本），可以用这些样本的DTW距离分布来建模：

• 高斯混合模型(GMM)：分别拟合相似样本对的DTW距离分布（通常是低距离的簇）和不相似样本对的分布（高距离的簇），然后对任意新的DTW距离d，计算它属于相似分布的后验概率：

  import numpy as np
  from sklearn.mixture import GaussianMixture
  
  # 假设similar_dists是相似样本对的DTW距离数组，dissimilar_dists是不相似的
  gmm_similar = GaussianMixture(n_components=1).fit(similar_dists.reshape(-1,1))
  gmm_dissimilar = GaussianMixture(n_components=1).fit(dissimilar_dists.reshape(-1,1))
  
  def dtw_to_prob(d):
      # 计算对数似然
      log_prob_similar = gmm_similar.score_samples([[d]])[0]
      log_prob_dissimilar = gmm_dissimilar.score_samples([[d]])[0]
      # 转换为后验概率（避免数值溢出）
      prob_similar = np.exp(log_prob_similar)
      prob_dissimilar = np.exp(log_prob_dissimilar)
      return prob_similar / (prob_similar + prob_dissimilar)
  

• 核密度估计(KDE)：和GMM逻辑类似，但不需要假设分布是高斯的，用KDE拟合相似/不相似样本的距离分布，再计算后验概率，适合数据分布不规则的场景。

2. 无监督的归一化映射（无标注数据时的替代方案） #

如果没有任何标注样本，只能基于已有所有DTW距离的分布来做归一化：

• 分位数归一化+逆映射：先统计所有已知DTW距离的5%分位数low_q和95%分位数high_q（过滤极端异常值），然后把距离d映射为相似概率：

  def dtw_to_prob_quantile(d, low_q, high_q):
      # 距离越小，相似概率越高，所以用1减去归一化后的距离
      normalized = (d - low_q) / (high_q - low_q)
      # 把超出范围的值 clamp 在0-1之间
      normalized = np.clip(normalized, 0, 1)
      return 1 - normalized
  

• Z-score+Sigmoid映射：计算所有DTW距离的均值mu和标准差sigma，用Sigmoid函数把标准化后的距离转换为平滑的概率值：

  import scipy.special
  
  def dtw_to_prob_sigmoid(d, mu, sigma):
      z_score = (d - mu) / sigma
      # Sigmoid输入取负，因为距离越小越相似，概率越高
      return scipy.special.expit(-z_score)
  

  这个方法假设距离大致符合正态分布，输出的概率会更平滑，适合数据分布相对对称的场景。

3. 基于排序的相对概率（完全无假设的极简方案） #

如果不需要绝对概率，只需要相对的相似性置信度，可以用排序的方式：

• 把所有待比较的DTW距离排序，对于某个距离d，它的相似概率等于「比d小的距离数量」除以「总距离数量」——本质上是计算d的累积分布函数(CDF)的补集：

  def dtw_to_prob_rank(d, all_dists):
      # 统计比当前距离小的样本个数
      count_smaller = sum(1 for dist in all_dists if dist < d)
      # 相似概率 = 比当前距离小的样本占比（距离越小越相似）
      return count_smaller / len(all_dists)
  

  这个方法完全基于数据的相对分布，不需要任何参数假设，适合数据分布完全未知的场景。

额外注意事项 #

• 如果数据是动态更新的（不断有新的时间序列加入），要定期更新分布统计（比如用滑动窗口更新分位数、均值/标准差，或者增量训练GMM/KDE），避免概率映射过时。
• 可以结合业务场景调整映射函数：比如如果希望对「相似」的判断更严格，可以把Sigmoid的斜率调大，或者提高分位数的阈值（比如用99%分位数作为上限）。

内容的提问来源于stack exchange，提问作者Indivon