聚合数据下正则化泊松GLM的系数估计差异问题咨询

首先得肯定你的前期观察：没错，当拟合无正则化的泊松GLM（以暴露量的对数作为偏移项）时，用完整的150万+条记录，或是按特征维度聚合后的数据（比如把相同特征组合的记录合并，用总索赔数作为响应变量、总暴露量作为偏移项），得到的系数估计是完全一致的。这是因为泊松回归的对数似然函数在聚合后和原数据是等价的——聚合只是把相同特征组的贡献累加，不会改变似然最大化的结果。

但当你引入lambda惩罚（不管是L2的Ridge还是L1的Lasso正则化）后，情况就不一样了，系数估计会出现差异，主要原因有这几点：

• 正则化的权重基准不同：大部分GLM正则化工具（比如glmnet）默认会根据样本数缩放惩罚项。完整数据有150万+样本，聚合后样本数会大幅减少（比如如果特征组合有10万种，聚合后就只有10万样本）。相同的lambda值在两种数据上的实际惩罚强度完全不同，自然会输出不同的系数。
• 聚合后的"有效样本量"未被正则化考虑：聚合后每条记录代表原数据中多条记录的汇总，它的实际贡献权重是原数据中的样本数（或暴露量）。但常规正则化项默认每条记录权重为1，不会自动适配这种权重差异——相当于给聚合后的少数记录施加了和完整数据单条记录一样的惩罚，系数结果必然偏移。
• 稀疏特征的惩罚敏感度变化：如果原数据存在大量稀疏特征组合（某特征组出现次数极少），聚合后这类稀疏组要么被保留、要么被合并。完整数据中稀疏特征的系数会因样本量小更容易被正则化压制；但聚合后如果该组被保留，总暴露量的权重可能让系数更难被压制，若被合并则特征影响会被平均，两种场景下正则化的作用效果完全不同。

让聚合数据正则化系数贴近完整数据的方法 #

如果想缩小两种数据形式下的系数差异，可以试试这两个方案：

• 按样本比例缩放lambda：根据聚合前后的样本数（或总暴露量比例）调整lambda值。比如完整数据有N个样本，聚合后有M个记录，就把聚合数据的lambda乘以N/M，匹配完整数据的惩罚强度。
• 启用加权正则化：确保你的GLM工具支持加权正则化，把聚合后每条记录的权重设为原数据中的对应样本数（或总暴露量），让正则化项考虑每条聚合记录的实际贡献量。

举个R语言glmnet的代码示例：

# 完整数据拟合正则化泊松GLM
full_fit <- glmnet(x = full_feature_matrix, y = full_claim_counts, 
                   family = "poisson", offset = log(full_exposure), 
                   lambda = target_lambda)

# 聚合数据拟合（带权重+lambda缩放）
agg_fit <- glmnet(x = agg_feature_matrix, y = agg_total_claims, 
                  family = "poisson", offset = log(agg_total_exposure), 
                  weights = agg_sample_counts, 
                  lambda = target_lambda * (nrow(full_data)/nrow(agg_data)))

内容的提问来源于stack exchange，提问作者Joshua Olney