多变量组合相关矩阵生成及高低相关性筛选方法咨询

代码实现可行性 #

完全可以实现，10列数据的非空子集总数仅为1023个，遍历所有两两组合的计算量极低，普通设备可在数秒内完成全部运算。

核心实现逻辑 #

你需要计算两组变量（支持单列/多列组合）的相关性，可使用典型相关分析（CCA） 实现，该方法可以输出两组变量的相关程度，当其中一组为单列时，计算结果和corr()输出的皮尔逊相关系数一致。

参考代码 #

import itertools
import pandas as pd
from sklearn.cross_decomposition import CCA

# 导入你的数据
df = pd.read_csv("你的数据文件路径.csv")
all_cols = df.columns.tolist()
# 生成所有非空列组合
all_subsets = []
for size in range(1, len(all_cols)+1):
    all_subsets.extend([list(comb) for comb in itertools.combinations(all_cols, size)])

# 自定义相关性阈值
HIGH_CORR_THRESH = 0.8
LOW_CORR_THRESH = 0.2
filter_results = []

# 遍历所有两两组合（不重复计算）
for idx_a in range(len(all_subsets)):
    group_a = all_subsets[idx_a]
    for idx_b in range(idx_a + 1, len(all_subsets)):
        group_b = all_subsets[idx_b]
        # 可选：跳过包含重叠列的组合，不需要可删除此行
        if set(group_a) & set(group_b):
            continue
        # 计算两组的典型相关系数
        cca_model = CCA(n_components=1)
        cca_model.fit(df[group_a], df[group_b])
        x_trans, y_trans = cca_model.transform(df[group_a], df[group_b])
        corr_val = pd.Series(x_trans.flatten()).corr(pd.Series(y_trans.flatten()))
        # 筛选符合阈值的结果
        if corr_val >= HIGH_CORR_THRESH or corr_val <= LOW_CORR_THRESH:
            filter_results.append({
                "组1": "+".join(group_a),
                "组2": "+".join(group_b),
                "相关系数": round(corr_val, 4)
            })

# 转换为DataFrame并高亮显示结果
result_df = pd.DataFrame(filter_results)
def highlight_rule(val):
    if isinstance(val, float):
        if val >= HIGH_CORR_THRESH:
            return "background-color: #fff2ac" # 黄色高亮高相关
        elif val <= LOW_CORR_THRESH:
            return "background-color: #e3f2fd" # 蓝色高亮低相关
    return ""
styled_result = result_df.style.applymap(highlight_rule)
# 导出为带高亮的Excel文件
styled_result.to_excel("相关性筛选结果.xlsx", engine="openpyxl", index=False)

如果你的需求是计算多列组合和单列的拟合优度作为相关性，可以把CCA替换为线性回归，计算R²值作为相关性指标即可，遍历逻辑不变。

商用软件方案 #

以下商用软件均可满足需求，无需代码即可完成操作：

• SPSS：自带典型相关分析模块，支持自定义变量组合批量计算，输出结果后可直接使用条件格式功能高亮符合阈值的结果，操作门槛低
• SAS：覆盖全场景统计分析需求，支持批量遍历变量组合计算相关性，可自定义输出规则实现高亮，适合专业统计分析场景
• Tableau/Power BI：通过自定义计算字段实现变量组合的相关性计算，搭配内置的条件格式功能，可同步完成结果筛选与可视化展示，适合需要做数据看板的场景
• Minitab：专门的统计分析工具，内置批量相关性分析功能，操作简单，支持按自定义阈值筛选并高亮结果，适合非专业统计人员使用

内容的提问来源于stack exchange，提问作者SMcDonald