基于产品分组识别Avg_Cost异常值并归因至厂商/经销商

一、自定义3*IQR异常检测与归因逻辑 #

针对你的需求，推荐使用data.table处理大数据集（效率远高于dplyr/rstatix），自定义异常检测和归因逻辑，避免依赖黑箱函数的问题。

步骤1：加载数据并计算产品级异常阈值 #

library(data.table)

# 读取数据（替换为你的数据源）
dt <- fread("你的数据路径.csv")

# 按产品分组计算3*IQR异常阈值
dt[, `:=`(
  Q1 = quantile(Avg_Cost, 0.25, na.rm = TRUE),
  Q3 = quantile(Avg_Cost, 0.75, na.rm = TRUE)
), by = Product_ID]
dt[, IQR := Q3 - Q1]
dt[, `:=`(
  lower_bound = Q1 - 3*IQR,
  upper_bound = Q3 + 3*IQR
), by = Product_ID]

# 标记产品级异常
dt[, is_product_outlier := as.integer(Avg_Cost < lower_bound | Avg_Cost > upper_bound)]

步骤2：异常归因判断 #

根据业务需求定义三个异常类型的逻辑（以下为通用逻辑，可根据你的样例调整）：

• m_outlier：该厂商在当前产品下的所有成本均为产品级异常
• r_outlier：该经销商在当前产品下的所有成本均为产品级异常
• mr_outlier：当前记录为产品级异常，但该厂商、经销商在产品下均存在正常成本（异常由厂商+经销商组合导致）

# 计算厂商在产品下的异常比例
dt[, m_total_outlier := as.integer(mean(is_product_outlier) == 1), by = .(Product_ID, Manufacturer)]
dt[, m_outlier := as.integer(is_product_outlier == 1 & m_total_outlier == 1)]

# 计算经销商在产品下的异常比例
dt[, r_total_outlier := as.integer(mean(is_product_outlier) == 1), by = .(Product_ID, Reseller)]
dt[, r_outlier := as.integer(is_product_outlier == 1 & r_total_outlier == 1)]

# 标记组合异常
dt[, mr_outlier := as.integer(
  is_product_outlier == 1 & 
  m_total_outlier == 0 & 
  r_total_outlier == 0
)]

# 保留需要的列
dt_final <- dt[, .(Manufacturer, Reseller, Product_ID, Avg_Cost, m_outlier, r_outlier, mr_outlier)]

如果需要匹配你样例中的归因逻辑（如针对单条异常记录的厂商/经销商归因），可调整为：

• m_outlier：该厂商在当前产品下的成本均值，属于产品内所有厂商均值的3*IQR异常
• r_outlier：该经销商在当前产品下的成本均值，属于产品内所有经销商均值的3*IQR异常
• mr_outlier：当前记录为产品级异常，但厂商、经销商均值均未异常

对应的代码调整：

# 厂商均值异常判断
dt[, m_mean := mean(Avg_Cost), by = .(Product_ID, Manufacturer)]
dt[, `:=`(
  m_Q1 = quantile(m_mean, 0.25, na.rm = TRUE),
  m_Q3 = quantile(m_mean, 0.75, na.rm = TRUE)
), by = Product_ID]
dt[, m_IQR := m_Q3 - m_Q1]
dt[, m_outlier := as.integer(
  is_product_outlier == 1 & 
  (m_mean < m_Q1 - 3*m_IQR | m_mean > m_Q3 + 3*m_IQR)
)]

# 经销商均值异常判断
dt[, r_mean := mean(Avg_Cost), by = .(Product_ID, Reseller)]
dt[, `:=`(
  r_Q1 = quantile(r_mean, 0.25, na.rm = TRUE),
  r_Q3 = quantile(r_mean, 0.75, na.rm = TRUE)
), by = Product_ID]
dt[, r_IQR := r_Q3 - r_Q1]
dt[, r_outlier := as.integer(
  is_product_outlier == 1 & 
  (r_mean < r_Q1 - 3*r_IQR | r_mean > r_Q3 + 3*r_IQR)
)]

# 组合异常判断
dt[, mr_outlier := as.integer(
  is_product_outlier == 1 & 
  !(m_mean < m_Q1 - 3*m_IQR | m_mean > m_Q3 + 3*m_IQR) & 
  !(r_mean < r_Q1 - 3*r_IQR | r_mean > r_Q3 + 3*r_IQR)
)]

二、解决rstatix的异常标记问题 #

你遇到的identify_outliers将组内所有值标记为异常的问题，是因为该函数默认将样本量≤5的组全部标记为异常。解决方法：

1. 过滤小样本组：

library(rstatix)

tmp %>%
  group_by(product) %>%
  filter(n() > 5) %>% # 仅处理样本量>5的组
  identify_outliers(cost)

2. 自定义异常检测函数：

detect_3iqr_outliers <- function(x) {
  qs <- quantile(x, c(0.25, 0.75), na.rm = TRUE)
  iqr <- qs[2] - qs[1]
  lower <- qs[1] - 3*iqr
  upper <- qs[2] + 3*iqr
  x < lower | x > upper
}

# 使用示例
tmp %>%
  group_by(product) %>%
  mutate(is_outlier = detect_3iqr_outliers(cost)) %>%
  filter(is_outlier)

三、大数据集最佳实践 #

1. 优先使用data.table：针对100个厂商、5万经销商、1000个产品的规模，data.table的分组计算效率是dplyr的数倍，且内存占用更低。
2. 避免重复分组：尽量将多个计算合并到同一分组操作中，减少重复计算开销。
3. 处理小样本组：对于样本量≤4的产品组，IQR计算不稳定，可跳过异常检测或改用MAD（中位数绝对偏差）方法：

# MAD异常检测替代
detect_mad_outliers <- function(x) {
  med <- median(x, na.rm = TRUE)
  mad_val <- mad(x, na.rm = TRUE)
  x < med - 3*mad_val | x > med + 3*mad_val
}

4. 可视化验证：对异常检测结果抽样可视化，确认逻辑合理性：

library(ggplot2)
dt[Product_ID == "P001"] %>%
  ggplot(aes(x = interaction(Manufacturer, Reseller), y = Avg_Cost)) +
  geom_boxplot() +
  geom_point(color = "red", data = dt[Product_ID == "P001" & is_product_outlier == 1])

5. 增量更新：如果数据是增量生成的，可仅对新增产品/厂商/经销商组合计算异常，避免全量重复计算。

内容的提问来源于stack exchange，提问作者James Snay