使用BigQuery ML ARIMA_PLUS建模时多数节假日效应被忽略问题咨询

核心原因分析 #

1. 内置节假日的统计显著性不足
   ARIMA_PLUS的内置节假日识别依赖历史数据中节假日与销售数据的统计显著性关联，而非直接匹配节假日日历。对于复活节、母亲节这类移动节假日，5年数据仅提供5个样本，若样本间销售波动不一致（比如某年份复活节恰逢周末，销售本就偏低），模型会认为关联不显著，从而忽略效应。而12月23日是固定日期，每年销售模式更一致，总统日的销售波动可能在数据中表现出更强的统计规律性，因此被识别。

2. 内置holiday_region与企业实际节假日不匹配
   BigQuery内置的US区域节假日列表可能未完全覆盖企业的特殊日期，或模型对部分节假日的权重计算逻辑与企业实际销售模式不符。比如企业圣诞节当天停业，但内置模型可能未将其标记为高影响节假日，或数据中圣诞节的销售波动被周末效应、年末促销等因素覆盖。

3. 移动节假日的日期匹配错误
   复活节、感恩节等移动节假日的日期每年变化，内置模型的日历匹配可能存在偏差，导致模型错误关联日期（如将2022年复活节的0销售关联到2023年的非复活节日期），而非正确识别节假日本身的效应。

解决方案：使用自定义节假日表 #

放弃依赖内置holiday_region，手动创建包含企业所有特殊日期的自定义节假日表，让模型精准关联企业实际的节假日销售模式。

步骤1：创建自定义节假日表 #

CREATE OR REPLACE TABLE `your_project.your_dataset.custom_holidays` AS
-- 复活节（每年日期需手动确认）
SELECT
  date,
  'easter' AS holiday_name,
  'US' AS region
FROM UNNEST([
  DATE('2019-04-21'),
  DATE('2020-04-12'),
  DATE('2021-04-04'),
  DATE('2022-04-17'),
  DATE('2023-04-09'),
  DATE('2024-03-31')
]) AS date
UNION ALL
-- 感恩节
SELECT
  date,
  'thanksgiving' AS holiday_name,
  'US' AS region
FROM UNNEST([
  DATE('2019-11-28'),
  DATE('2020-11-26'),
  DATE('2021-11-25'),
  DATE('2022-11-24'),
  DATE('2023-11-23')
]) AS date
UNION ALL
-- 情人节
SELECT
  date,
  'valentines_day' AS holiday_name,
  'US' AS region
FROM UNNEST([
  DATE('2019-02-14'),
  DATE('2020-02-14'),
  DATE('2021-02-14'),
  DATE('2022-02-14'),
  DATE('2023-02-14')
]) AS date
UNION ALL
-- 添加圣诞节、母亲节等其他企业特殊日期
SELECT
  date,
  'christmas' AS holiday_name,
  'US' AS region
FROM UNNEST([
  DATE('2019-12-25'),
  DATE('2020-12-25'),
  DATE('2021-12-25'),
  DATE('2022-12-25'),
  DATE('2023-12-25')
]) AS date;

步骤2：修改建模语句使用自定义节假日表 #

替换原holiday_region参数为holiday_table，指定自定义表路径：

CREATE OR REPLACE MODEL `your_project.your_dataset.model_name`
OPTIONS(
    MODEL_TYPE='ARIMA_PLUS',
    time_series_timestamp_col='date',
    time_series_data_col='sales',
    data_frequency='DAILY',
    holiday_table='`your_project.your_dataset.custom_holidays`'
) AS
SELECT date, sales FROM `your_project.your_dataset.table_name`;

步骤3：验证节假日效应 #

重新运行ML.EXPLAIN_FORECAST，即可看到自定义节假日的效应值：

SELECT * FROM ML.EXPLAIN_FORECAST(MODEL `your_project.your_dataset.model_name`, STRUCT(14 AS horizon, 0.8 AS confidence_level));

额外注意事项 #

• 确保自定义表中的日期与历史数据完全匹配，包括企业因节假日调休的停业日期。
• 若某节假日的历史销售存在异常值（如某年情人节销售额意外偏低），建议先清理数据或标记为异常值，避免干扰模型学习。
• 移动节假日的日期需每年手动更新，确保未来预测时模型能准确识别对应日期。

内容的提问来源于stack exchange，提问作者Steven Roth