You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

数据集清洗需求:重复PersonID剔除Unknown行,唯一ID的Unknown行保留

数据集处理方案

需求说明

  • 当同一PersonID对应多条记录且包含Unknown值时,剔除该PersonID对应的所有Unknown记录
  • 若某PersonID仅对应一条记录且值为Unknown,则保留该行

示例数据集

NamePersonIDPCPGrouper
ABBAN, AVRIL1094893Unknown
ABBIS,CHLOE1114294T Docs
ABBIS,CHLOE1114294Unknown

处理后预期结果

NamePersonIDPCPGrouper
ABBAN, AVRIL1094893Unknown
ABBIS,CHLOE1114294T Docs

实现代码(SQL示例)

用窗口函数统计每个PersonID的记录数,再按规则筛选:

WITH person_counts AS (
    SELECT 
        *,
        COUNT(*) OVER (PARTITION BY PersonID) AS id_count
    FROM your_table_name
)
SELECT Name, PersonID, PCPGrouper
FROM person_counts
WHERE 
    (id_count = 1 AND PCPGrouper = 'Unknown')
    OR (id_count > 1 AND PCPGrouper != 'Unknown');

逻辑说明

  1. 先通过窗口函数计算每个PersonID的总记录数
  2. 筛选条件分两种情况:
    • 单条记录且为Unknown的行直接保留
    • 多条记录的PersonID只保留非Unknown的行

内容的提问来源于stack exchange,提问作者ginkoba

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.20 05:55:23