You need to enable JavaScript to run this app. 如何删除数据重复列并筛选仅养单只宠物的行?需SQL、Python实现
优惠活动
大模型
产品
解决方案
定价
更多

如何删除数据重复列并筛选仅养单只宠物的行?需SQL、Python实现

两类数据处理任务实现方案

基础说明

参考数据集为多列宽表结构,核心字段覆盖人员姓名(含kim、choi、lee三类目标主体)、宠物饲养相关记录、多组存在冗余重复的业务字段,两类需求可独立执行,也可串联成完整处理流水线。


需求1:删除数据集中的重复列

重复列的判定标准包含两类:列名完全重复、列全量取值完全冗余无信息差。

SQL实现方案

  • 核心执行流程:
    1. 遍历表所有列,对每列计算全量值的统一哈希校验值,将哈希值完全相同的列判定为重复冗余列
    2. 拼接去重后的列名清单,通过动态SQL执行查询,仅保留无冗余的列集合
  • 参考实现逻辑(以PostgreSQL为例):
    -- 第一步:识别重复列
    WITH col_hash AS (
      SELECT 
        'col1' as col_name, md5(array_agg(col1::text)::text) as hash_val FROM your_table
      UNION ALL
      SELECT 
        'col2' as col_name, md5(array_agg(col2::text)::text) as hash_val FROM your_table
      -- 补充剩余列的哈希计算逻辑
    ),
    dedup_col AS (
      SELECT col_name, hash_val,
        -- 同哈希值的列仅保留首次出现的列名
        row_number() over(PARTITION BY hash_val ORDER BY col_name) as rn
      FROM col_hash
    )
    -- 第二步:拼接去重后的列生成动态查询语句,执行后即可得到无重复列的数据集
    SELECT string_agg(col_name, ', ') as select_cols
    FROM dedup_col
    WHERE rn = 1;
    

Python实现方案

  • 核心执行逻辑:基于pandas内置的重复值识别方法,定位所有完全冗余的列并删除
  • 参考实现代码:
    import pandas as pd
    
    # 读取源数据集
    df = pd.read_csv("your_source_dataset.csv")
    # 识别所有取值完全重复的列
    duplicated_column_list = df.columns[df.T.duplicated()].tolist()
    # 执行列删除,得到无重复列的数据集
    df_without_dup_cols = df.drop(columns=duplicated_column_list)
    
  • 注意事项:如果存在列名重复但取值不同的场景,可先通过列名加后缀的方式重命名,避免后续数据读取错位。

需求2:筛选仅饲养1只宠物的目标人员行

筛选范围限定为姓名为kim、choi、lee的主体,排除饲养0只、2只及以上宠物的记录。

SQL实现方案

  • 核心执行逻辑:通过条件匹配圈定目标人员范围,叠加宠物数量的筛选条件
  • 参考实现代码:
    -- 基于第一步去重后的列集合执行查询
    SELECT 去重后的字段列表
    FROM your_deduped_table
    WHERE
      -- 匹配指定的三类目标人员
      person_name IN ('kim', 'choi', 'lee')
      -- 适配宠物数量为独立数值列的场景:限定宠物数为1
      AND pet_quantity = 1;
    
  • 宽表适配场景:如果宠物信息是按列拆分存储(如pet_1、pet_2、pet_3多列存不同宠物名),可通过行级非空计数实现筛选:
    SELECT 去重后的字段列表
    FROM your_deduped_table
    WHERE
      person_name IN ('kim', 'choi', 'lee')
      -- 计算非空宠物列的数量为1,即仅养1只宠物
      AND (CASE WHEN pet_1 IS NOT NULL THEN 1 ELSE 0 END
         + CASE WHEN pet_2 IS NOT NULL THEN 1 ELSE 0 END
         + CASE WHEN pet_3 IS NOT NULL THEN 1 ELSE 0 END) = 1;
    

Python实现方案

  • 核心执行逻辑:对去重后的数据集做布尔索引过滤,匹配复合筛选条件
  • 基础场景参考代码(宠物数量为独立数值列):
    # 定义目标人员范围
    target_persons = ["kim", "choi", "lee"]
    # 复合条件过滤
    filtered_result = df_without_dup_cols[
      (df_without_dup_cols["person_name"].isin(target_persons)) &
      (df_without_dup_cols["pet_quantity"] == 1)
    ]
    
  • 宽表适配场景参考代码(宠物信息按列拆分存储):
    # 定位所有宠物相关的列
    pet_related_cols = [col for col in df_without_dup_cols.columns if col.startswith("pet_")]
    # 行级计算非空宠物列的数量,叠加人员范围筛选
    filtered_result = df_without_dup_cols[
      (df_without_dup_cols["person_name"].isin(target_persons)) &
      (df_without_dup_cols[pet_related_cols].notna().sum(axis=1) == 1)
    ]
    

内容的提问来源于stack exchange,提问作者진욱염

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 17:27:05