如何用Python或PostgreSQL提取数据表中存在差异的列

Python（Pandas实现） #

用Pandas可快速识别并筛选出存在数据差异的列，核心逻辑是检查每列的唯一值数量是否大于1：

import pandas as pd

# 模拟读取Table0数据（实际可通过read_sql从数据库读取，或read_csv读取文件）
data = {
    'C0': ['aaa', 'aab', 'aac', 'aad', 'aae', 'aaf'],
    'C1': ['ax', 'ax', 'ax', 'ax', 'ax', 'ax'],
    'C2': ['ay', 'ay', 'ay', 'ax', 'ay', 'ay'],
    'C3': ['aq', 'aq', 'aw', 'aw', 'aw', 'ae'],
    'C4': ['123', '123', '123', '123', '123', '123'],
    'C5': ['555', '555', '557', '555', '559', '555']
}
df = pd.DataFrame(data)

# 筛选出唯一值数量>1的列（即存在差异的列）
filtered_df = df.loc[:, df.nunique() > 1]

# 输出结果
print(filtered_df)

运行后将直接得到仅包含C0、C2、C3、C5的结果表，与需求输出完全匹配。

PostgreSQL实现 #

方法1：手动筛选（适合列数较少的场景） #

先验证各列的唯一值数量，确认无差异列后直接查询目标列：

-- 验证各列的唯一值数量
SELECT
    COUNT(DISTINCT C0) AS C0_distinct,
    COUNT(DISTINCT C1) AS C1_distinct,
    COUNT(DISTINCT C2) AS C2_distinct,
    COUNT(DISTINCT C3) AS C3_distinct,
    COUNT(DISTINCT C4) AS C4_distinct,
    COUNT(DISTINCT C5) AS C5_distinct
FROM Table0;

-- 查询有差异的列
SELECT C0, C2, C3, C5 FROM Table0;

方法2：动态生成SQL（适合列数较多的场景） #

通过系统表自动识别唯一值数量>1的列，动态生成查询语句：

WITH column_stats AS (
    SELECT
        column_name,
        (SELECT COUNT(DISTINCT t.val) FROM (SELECT (Table0).*::text AS val FROM Table0) t) AS distinct_count
    FROM information_schema.columns
    WHERE table_name = 'Table0' AND table_schema = 'public' -- 替换为实际表所在schema
)
SELECT string_agg(column_name, ', ') AS target_columns
FROM column_stats
WHERE distinct_count > 1;

执行后会得到需要保留的列名，将结果代入SELECT [target_columns] FROM Table0;即可完成查询。若需一键执行，可编写PL/pgSQL存储过程实现自动输出结果。

内容的提问来源于stack exchange，提问作者MKUltra