如何删除数据重复列并筛选仅养单只宠物的行?需SQL、Python实现
两类数据处理任务实现方案
基础说明
参考数据集为多列宽表结构,核心字段覆盖人员姓名(含kim、choi、lee三类目标主体)、宠物饲养相关记录、多组存在冗余重复的业务字段,两类需求可独立执行,也可串联成完整处理流水线。
需求1:删除数据集中的重复列
重复列的判定标准包含两类:列名完全重复、列全量取值完全冗余无信息差。
SQL实现方案
- 核心执行流程:
- 遍历表所有列,对每列计算全量值的统一哈希校验值,将哈希值完全相同的列判定为重复冗余列
- 拼接去重后的列名清单,通过动态SQL执行查询,仅保留无冗余的列集合
- 参考实现逻辑(以PostgreSQL为例):
-- 第一步:识别重复列 WITH col_hash AS ( SELECT 'col1' as col_name, md5(array_agg(col1::text)::text) as hash_val FROM your_table UNION ALL SELECT 'col2' as col_name, md5(array_agg(col2::text)::text) as hash_val FROM your_table -- 补充剩余列的哈希计算逻辑 ), dedup_col AS ( SELECT col_name, hash_val, -- 同哈希值的列仅保留首次出现的列名 row_number() over(PARTITION BY hash_val ORDER BY col_name) as rn FROM col_hash ) -- 第二步:拼接去重后的列生成动态查询语句,执行后即可得到无重复列的数据集 SELECT string_agg(col_name, ', ') as select_cols FROM dedup_col WHERE rn = 1;
Python实现方案
- 核心执行逻辑:基于pandas内置的重复值识别方法,定位所有完全冗余的列并删除
- 参考实现代码:
import pandas as pd # 读取源数据集 df = pd.read_csv("your_source_dataset.csv") # 识别所有取值完全重复的列 duplicated_column_list = df.columns[df.T.duplicated()].tolist() # 执行列删除,得到无重复列的数据集 df_without_dup_cols = df.drop(columns=duplicated_column_list) - 注意事项:如果存在列名重复但取值不同的场景,可先通过列名加后缀的方式重命名,避免后续数据读取错位。
需求2:筛选仅饲养1只宠物的目标人员行
筛选范围限定为姓名为kim、choi、lee的主体,排除饲养0只、2只及以上宠物的记录。
SQL实现方案
- 核心执行逻辑:通过条件匹配圈定目标人员范围,叠加宠物数量的筛选条件
- 参考实现代码:
-- 基于第一步去重后的列集合执行查询 SELECT 去重后的字段列表 FROM your_deduped_table WHERE -- 匹配指定的三类目标人员 person_name IN ('kim', 'choi', 'lee') -- 适配宠物数量为独立数值列的场景:限定宠物数为1 AND pet_quantity = 1; - 宽表适配场景:如果宠物信息是按列拆分存储(如
pet_1、pet_2、pet_3多列存不同宠物名),可通过行级非空计数实现筛选:SELECT 去重后的字段列表 FROM your_deduped_table WHERE person_name IN ('kim', 'choi', 'lee') -- 计算非空宠物列的数量为1,即仅养1只宠物 AND (CASE WHEN pet_1 IS NOT NULL THEN 1 ELSE 0 END + CASE WHEN pet_2 IS NOT NULL THEN 1 ELSE 0 END + CASE WHEN pet_3 IS NOT NULL THEN 1 ELSE 0 END) = 1;
Python实现方案
- 核心执行逻辑:对去重后的数据集做布尔索引过滤,匹配复合筛选条件
- 基础场景参考代码(宠物数量为独立数值列):
# 定义目标人员范围 target_persons = ["kim", "choi", "lee"] # 复合条件过滤 filtered_result = df_without_dup_cols[ (df_without_dup_cols["person_name"].isin(target_persons)) & (df_without_dup_cols["pet_quantity"] == 1) ] - 宽表适配场景参考代码(宠物信息按列拆分存储):
# 定位所有宠物相关的列 pet_related_cols = [col for col in df_without_dup_cols.columns if col.startswith("pet_")] # 行级计算非空宠物列的数量,叠加人员范围筛选 filtered_result = df_without_dup_cols[ (df_without_dup_cols["person_name"].isin(target_persons)) & (df_without_dup_cols[pet_related_cols].notna().sum(axis=1) == 1) ]
内容的提问来源于stack exchange,提问作者진욱염
相关产品推荐
相关产品推荐

