大数据的相关性与多重共线性分析技术选型问询

一、先在BigQuery端做粗筛，减少本地计算压力 #

既然数据存储在BigQuery，优先利用其分布式计算能力完成初步冗余剔除，避免把全量数据拉到本地Pandas：

• 删除低方差列：用VAR_POP()函数计算每列的总体方差，直接过滤掉方差接近0的列（这类列无区分度，属于冗余）。示例SQL：

  SELECT column_name
  FROM `your_dataset.your_table`
  WHERE VAR_POP(column_name) < 1e-6
  

  拿到结果后直接在后续查询中排除这些列。
• 批量计算列对相关系数：用BigQuery的CORR()函数批量计算列间相关系数，筛选出相关系数绝对值超过阈值（比如0.9）的列对。对高度相关的列组，优先保留业务上更核心、缺失值更少的列，直接在数据库层面完成第一轮冗余剔除，把列数压缩到几百级别后再导入Pandas处理。

二、优化VIF计算，避免无限迭代 #

VIF迭代删除耗时的核心原因是全局反复计算，可通过以下方式优化：

• 分组计算VIF：先把高度相关的列分成若干组，只在每组内计算VIF并删除VIF最高的列，而非全局迭代。比如把相关系数>0.8的列归为一组，每组保留1-2个核心列，这样计算量大幅降低。
• 抽样计算VIF：对于100k行的数据，抽取10%-20%的样本计算VIF，结果和全样本差异极小，但计算时间能缩短80%以上。
• 分布式计算VIF：用Dask或Spark替代Pandas，利用并行计算能力同时处理多列的VIF计算，比单进程Pandas效率提升数倍。

三、正则化方法完全可行，且适合大数据场景 #

正则化（尤其是L1正则的Lasso）是保留原始列、剔除冗余的理想方案：

• BigQuery ML直接实现：在BigQuery中创建带L1正则的线性回归模型，模型会自动把冗余列的系数压缩至0，直接筛选出有贡献的原始列。示例SQL：

  CREATE OR REPLACE MODEL `your_dataset.lasso_model`
  OPTIONS(model_type='linear_reg', l1_reg=0.1) AS
  SELECT * EXCEPT(target_column), target_column AS label
  FROM `your_dataset.your_table`
  

  之后通过SELECT * FROM ML.WEIGHTS()查看系数，过滤掉系数为0的列即可。
• 分布式框架实现：用Spark MLlib的Lasso模型处理大数据量，同样能自动筛选特征，保留原始列的同时剔除冗余。

四、折衷方案：兼顾降维和可解释性 #

如果必须做降维又不想完全丢失原始列的可解释性，可选择：

• 稀疏PCA：相对于普通PCA，稀疏PCA会让大部分原始列的载荷为0，只保留少数列的非零权重，既能降维，又能明确知道哪些原始列对主成分贡献最大，便于保留核心列。
• 因子分析（FA）：将相关列归为潜在因子，但保留原始列，同时能明确哪些列属于同一因子，可针对因子内的列做冗余剔除，保留每个因子的核心列。

内容的提问来源于stack exchange，提问作者Hakun