编写函数实现：按指定列同值分组判断另一列是否存在多值

核心逻辑 #

• 以存储参考编号的column1为分组键，聚合相同编号对应的所有行
• 统计每组内column2的去重取值数量，按规则返回结果：
  • 去重后取值数量为1 → 该组校验结果为TRUE
  • 去重后取值数量大于1 → 该组校验结果为FALSE

多场景实现代码 #

Python Pandas 方案（适配本地千万级以内结构化数据） #

大文件读取时可通过指定字段dtype、开启chunksize分块读取降低内存占用

import pandas as pd

# 替换为你的数据读取逻辑，支持csv、excel、parquet等多种格式
df = pd.read_parquet("your_large_dataset.parquet")

# 分组计算每组column2的唯一值数量，生成校验结果
validation_res = df.groupby("column1")["column2"].nunique(dropna=False) == 1

# 若需要将校验结果匹配回原数据表，可执行以下映射逻辑
df["validation_result"] = df["column1"].map(validation_res)

SQL 方案（适配数据库/数仓内亿级规模数据，性能最优） #

直接在数据库侧完成计算，无需全量导出数据：

SELECT
    column1,
    CASE WHEN COUNT(DISTINCT column2) = 1 THEN TRUE ELSE FALSE END AS is_col2_consistent
FROM your_dataset_table
-- 若空值不参与校验可放开下方注释
-- WHERE column2 IS NOT NULL
GROUP BY column1;

PySpark 方案（适配分布式超大规模数据集） #

from pyspark.sql import SparkSession
from pyspark.sql.functions import countDistinct, when

spark = SparkSession.builder.appName("col_validation").getOrCreate()
df = spark.read.parquet("hdfs://path/to/your/dataset")

validation_res = df.groupBy("column1").agg(
    when(countDistinct("column2") == 1, True).otherwise(False).alias("is_col2_consistent")
)

validation_res.show()

补充说明 #

• 若业务规则中空值需要视为独立取值，统计去重数量时不要加空值过滤逻辑
• 若需要快速定位存在取值不一致的参考编号，直接筛选取值为FALSE的结果即可

内容的提问来源于stack exchange，提问作者Christoffer Tuxen Rosing