如何识别DataFrame对角线中断裂的无效县代码列？

问题背景 #

你手头的DataFrame是一个类支付矩阵结构，包含5年的记录，每行对应一个有效的CountyCode（共约65个），但列中混入了一些实际不存在的县代码（比如示例中的C05）。这些无效列会导致矩阵对角线断裂（因为没有对应的行，交叉值常年为0），需要自动找出这些列来修正。

你的数据结构示例如下：

YEAR CountyCode C01 C02 C03 C04 C05 C06 ...
2012 C01        132 0   3   1   4   9   ...
2012 C02        0   21  0   57  0   0   ...
2012 C03        0   0   56  0   1   1   ...
2012 C04        0   6   0   40  0   26  ...
2012 C06        0   0   1   0   0   0   ...
2012 C07        0   0   1   32  219 6   ...
...
2013 C01        220 9   2   4   0   0   ...
2013 C02        0   54  0   62  0   2   ...
2013 C03        0   0   24  0   1   1   ...
2013 C04        0   6   0   224 0   2   ...
2013 C06        0   0   2   0   0   0   ...
2013 C07        0   0   1   37  2   3   ...

自动化解决方案 #

用Pandas就能轻松实现自动化检测，不用手动核对海量数据，步骤如下：

1. 准备工作 #

先导入Pandas并读取你的数据：

import pandas as pd

# 替换成你的数据读取方式，比如从CSV读取
df = pd.read_csv('your_payment_data.csv')

2. 提取有效县代码 #

先把所有实际存在的CountyCode提取出来（去重后）：

# 获取所有有效的CountyCode列表
valid_counties = df['CountyCode'].unique().tolist()

3. 筛选待检查的支付列 #

从DataFrame中筛选出所有以C开头的列（排除YEAR和CountyCode这两个标识列）：

# 筛选出所有县代码列
payment_columns = [col for col in df.columns if col.startswith('C')]

4. 定位无效列 #

找出那些列名不在有效CountyCode列表里的列，这些就是导致对角线异常的罪魁祸首：

# 找出所有无效列
invalid_columns = [col for col in payment_columns if col not in valid_counties]

5. 按需求格式输出 #

按照你想要的格式输出结果：

# 输出类似 [1] C05,C40,... 的格式
print(f"[1] {','.join(invalid_columns)}")

进阶：分年度检查（如果各年度有效县有差异） #

如果不同年份的有效CountyCode有变化，可以按年度分组分别检测：

# 遍历每个年度的数据，单独检查无效列
for year, year_data in df.groupby('YEAR'):
    # 获取当前年度的有效县代码
    year_valid = year_data['CountyCode'].unique().tolist()
    # 找出当前年度的无效列
    year_invalid = [col for col in payment_columns if col not in year_valid]
    # 输出结果
    if year_invalid:
        print(f"[{year}] {','.join(year_invalid)}")
    else:
        print(f"[{year}] 无无效列")

这样就能一次性定位所有问题列，后续直接修正这些列即可。

内容的提问来源于stack exchange，提问作者Anurag Kaushik