如何用Featuretools检测控制变量危险使用及转换？解析日期转换泛化问题

这个问题绝对是自动特征工程里最容易踩的坑之一——用year/month这类绝对日期特征训练的模型，跨年份直接歇菜，我之前也遇到过类似的情况。下面结合Featuretools的用法，给你讲怎么检测、控制，以及更优的替代方案：

一、先识别哪些是“危险”的日期特征 #

Featuretools生成特征后，你可以通过两种方式快速定位绝对日期特征：

• 查看特征名称：自动生成的绝对日期特征通常会带有YEAR()、MONTH()、DAY()这样的前缀，比如YEAR(purchase_date)一眼就能看出是提取了购买年份的绝对特征。
• 用describe_features工具查看特征定义：

  feature_defs = ft.describe_features(feature_matrix, features)
  # 筛选包含year/month/day的特征定义
  risky_features = [f for f in feature_defs if any(kw in f["definition"] for kw in ["year", "month", "day"])]
  

  这样就能精准找出那些依赖绝对日期值的特征。

二、控制Featuretools不生成这类危险特征 #

你可以通过两种方式限制绝对日期原语的生成：

1. 直接排除指定原语 #

在调用dfs时，把Year、Month、Day这些原语加入排除列表：

from featuretools.primitives import Year, Month, Day

features, feature_matrix = ft.dfs(
    dataframes=dataframes,
    target_dataframe_name="purchases",
    exclude_primitives=[Year, Month, Day]  # 禁止生成绝对日期特征
)

2. 用primitive_options精细化配置 #

如果只是想针对特定列禁用这些原语，而不是全局排除，可以用primitive_options：

features, feature_matrix = ft.dfs(
    dataframes=dataframes,
    target_dataframe_name="purchases",
    primitive_options={
        "Year": {"include_columns": []},  # 不让Year原语作用于任何列
        "Month": {"include_columns": []}
    }
)

三、替代方案：构建泛化性更强的日期特征 #

与其禁用，不如直接生成对跨时间泛化友好的特征，推荐这几类：

1. 相对时间特征 #

用TimeSince原语计算日期到某个基准点的时间差，比如训练数据的截止日期：

from featuretools.primitives import TimeSince
import pandas as pd

# 设定基准日期（比如训练数据的最后一天）
reference_date = pd.to_datetime("2018-12-31")
# 创建自定义的TimeSince原语实例
time_since_purchase = TimeSince(reference_date=reference_date)

features, feature_matrix = ft.dfs(
    dataframes=dataframes,
    target_dataframe_name="purchases",
    trans_primitives=[time_since_purchase]
)

这样生成的TIME_SINCE(purchase_date)是相对天数/秒数，不管新数据是2019还是2020年，这个特征都能反映购买时间的相对远近。

2. 循环性日期特征 #

提取DayOfYear、DayOfWeek、IsWeekend这类不依赖绝对年份的特征：

from featuretools.primitives import DayOfYear, DayOfWeek, IsWeekend

features, feature_matrix = ft.dfs(
    dataframes=dataframes,
    target_dataframe_name="purchases",
    trans_primitives=[DayOfYear, DayOfWeek, IsWeekend]
)

比如2018年和2019年的1月1日，DayOfYear都是1，模型能学到“年初购买”的模式，而不是只认2018这个年份。

3. 时间窗口聚合特征 #

用滑动窗口统计过去N天的购买次数、金额等，这类特征本身就是基于相对时间的，泛化性极强：

features, feature_matrix = ft.dfs(
    dataframes=dataframes,
    target_dataframe_name="purchases",
    agg_primitives=["count", "mean"],
    groupby_trans_primitives=["time_since_previous"],
    cutoff_time=cutoff_times,  # 必须指定截止时间才能生成窗口特征
    window_size="30d"
)

四、最后一步：时间拆分验证防踩坑 #

哪怕做了以上处理，也要用时间拆分的方式验证模型——比如用2018年上半年数据训练，下半年测试，而不是随机拆分。这样能提前发现模型在跨时间数据上的泛化问题，避免上线后才翻车。

内容的提问来源于stack exchange，提问作者Filip Floegel