如何利用dataset_A校验dataset_B的数据完整性？

需求背景 #

我有一份dataset_A，它是dataset_B的内容定义基准：dataset_A每个version下的所有带对应category的code_id，都必须在dataset_B中存在（部分category可能延迟同步）。需要实现自动化校验：数据完整则执行后续代码，不完整则抛出异常等待下次构建。

数据集示例 #

dataset_A

dataset_B

手动操作时，我会检查dataset_B的code_id，结合version在dataset_A中查询预期category，再核对dataset_B是否完整。现在想知道如何自动化实现校验，仅通过外连接查看缺失行是否可行？

解答 #

一、外连接校验的可行性：可行，但要精准匹配 #

仅用外连接查看缺失行是可行的，但不能只基于code_id做关联，否则会漏判属性不匹配的情况。

问题所在：仅匹配code_id的缺陷

如果只通过code_id做左外连接，会忽略同一code_id下属性不匹配的场景：比如dataset_A中version=2的code_id=5666对应category_2=two，但dataset_B中该code_id的category_2是one，此时仅看code_id会误判为数据存在，但实际属性不符合定义，属于不完整。

正确的外连接方式

必须基于唯一标识一条预期记录的所有字段做关联，也就是code_id+characteristics+category_1+category_2（如果version是区分同一code_id不同属性版本的核心依据，也要加入version）。通过左外连接后，筛选出dataset_B端字段为空的记录，这些就是缺失或不匹配的条目。

二、完整的自动化校验流程 #

1. 关联匹配：用dataset_A左外连接dataset_B，关联键包含所有需要校验的属性字段
2. 识别缺失/不匹配项：筛选出仅在dataset_A中存在的记录（即dataset_B端无匹配的条目）
3. 完整性判定：
   • 若无缺失记录，执行后续代码
   • 若有缺失记录，抛出异常终止流程，等待下次同步
4. 可选：延迟同步兼容：如果允许特定category延迟，可在筛选时排除这些预定义的条目（需提前明确延迟规则）

三、代码实现示例 #

SQL版本（适用于大数据场景）

-- 找出dataset_A中存在但dataset_B中缺失/不匹配的记录
SELECT a.version, a.code_id, a.category_1, a.category_2
FROM dataset_A a
LEFT JOIN dataset_B b
ON a.code_id = b.code_id
AND a.characteristics = b.characteristics
AND a.category_1 = b.category_1
AND a.category_2 = b.category_2
WHERE b.code_id IS NULL;

如果查询结果非空，说明数据不完整，抛出异常即可。

Python Pandas版本（适用于小数据集）

import pandas as pd

# 加载数据集
df_a = pd.read_csv("dataset_A.csv")
df_b = pd.read_csv("dataset_B.csv")

# 左外连接，匹配所有关键属性
merged_df = pd.merge(
    df_a,
    df_b,
    on=["code_id", "characteristics", "category_1", "category_2"],
    how="left",
    indicator=True
)

# 筛选缺失/不匹配的记录
missing = merged_df[merged_df["_merge"] == "left_only"]

if not missing.empty:
    print(f"数据不完整：共发现{len(missing)}条缺失/不匹配记录")
    print(missing[["version", "code_id", "category_1", "category_2"]])
    raise Exception("数据校验失败，等待下次同步")
else:
    print("数据校验通过，执行后续代码")
    # 后续业务逻辑
    # your_business_code()

内容的提问来源于stack exchange，提问作者johnnydoe