如何实现非product_code字段一致时多记录合并拼接product_code为单条
按规则合并数据集记录的实现方案
核心处理逻辑为:将category_id、subcat_id、customer_id、quantity、value这几个除product_code外的字段作为分组依据,同分组下所有记录的product_code值通过逗号拼接为单个值,最终输出单条聚合记录,完全匹配给出的输入、输出示例要求。
典型场景实现方法
SQL 实现
通过分组聚合实现,不同数据库仅字符串聚合函数存在差异,核心逻辑一致:
各数据库对应字符串拼接函数:
- MySQL 场景:使用
GROUP_CONCAT(product_code SEPARATOR ',')- PostgreSQL / Hive 场景:使用
STRING_AGG(product_code, ',')- Oracle 场景:使用
LISTAGG(product_code, ',') WITHIN GROUP (ORDER BY product_code)
参考SQL示例代码:
SELECT category_id, subcat_id, -- 按照所用数据库选择对应的聚合函数替换下行代码 GROUP_CONCAT(product_code SEPARATOR ',') AS product_code, customer_id, quantity, value FROM 原始数据表 -- 严格按照除product_code外的所有字段分组,确保合并逻辑符合要求 GROUP BY category_id, subcat_id, customer_id, quantity, value;
Python Pandas 实现
通过pandas分组聚合完成处理,代码简洁且适配自定义数据处理流程:
import pandas as pd # 加载原始数据集 raw_df = pd.read_csv("本地数据文件路径.csv") # 自动识别所有分组字段(除product_code外的全部列),避免手动列字段时漏写导致合并逻辑错误 group_keys = [col for col in raw_df.columns if col != "product_code"] # 分组拼接product_code,输出合并后的数据集 merged_result = raw_df.groupby(group_keys, as_index=False)["product_code"]\ .agg(lambda code_list: ",".join(code_list))
执行完成后输出的merged_result即和期望的合并结果完全一致。
内容的提问来源于stack exchange,提问作者user11035754
相关产品推荐
相关产品推荐

