Pandas按列分组聚合：生成无重复逗号分隔列表的问题

你的核心思路是对的——用Pandas做分组聚合确实是处理这类CSV需求的高效方式，但细节上的处理不到位导致了输出格式和空值显示的问题。下面来拆解问题并给出更优雅的实现方案：

问题分析 #

你当前代码的两个核心问题：

• 使用set(x)作为聚合函数，会把结果转换成Python集合，导出CSV时就会带上集合的语法符号{}和字符串的单引号''
• 空值（None）被直接放进集合，导致导出后显示{None}，不符合空值应该显示为空的预期

优雅实现方案 #

我们需要自定义聚合函数来处理去重、拼接和空值过滤，同时保持对动态列的支持（不需要硬编码列名）：

完整代码 #

import pandas as pd

# 读取CSV文件，分隔符根据实际情况调整
df = pd.read_csv("C://input.csv", sep=';')

# 统一将所有空值（NaN/None）替换为空字符串，避免后续聚合出现{None}
df = df.fillna('')

# 自定义聚合函数：过滤空值 → 去重（保留原始顺序）→ 逗号拼接
def agg_unique_join(x):
    # 过滤空字符串，用dict.fromkeys去重并保持插入顺序（比set更友好，若不在意顺序可改用set）
    filtered_unique = list(dict.fromkeys(filter(lambda val: val != '', x)))
    return ','.join(filtered_unique)

# 按A列分组，对其余所有列自动应用聚合函数，as_index=False让A列保持为普通列
result_df = df.groupby('A', as_index=False).agg(agg_unique_join)

# 导出结果，na_rep=''确保空的聚合结果显示为空字符串
result_df.to_csv("C://result.csv", sep=';', na_rep='', index=False)

关键细节解释 #

1. 空值预处理：fillna('')把所有NaN/None统一转为空字符串，后续过滤后就不会出现{None}的情况
2. 有序去重：dict.fromkeys()既实现了去重，又保留了原始数据的顺序（如果不需要顺序，也可以用list(set(filter(...)))，但顺序会被打乱）
3. 动态列支持：groupby('A').agg(agg_unique_join)会自动对除A列外的所有列应用聚合函数，完全不需要硬编码列名
4. 导出优化：as_index=False避免把A列设为索引，na_rep=''确保聚合后为空的列导出时显示为空，而不是NaN

超大型CSV优化方案 #

如果你的CSV文件大到内存无法一次性加载，可以用分块读取的方式处理：

import pandas as pd

chunk_size = 10000  # 每块读取1万行，可根据内存调整
agg_func = lambda x: ','.join(list(dict.fromkeys(filter(lambda val: val != '', x))))
chunks = []

# 分批读取并聚合
for chunk in pd.read_csv("C://input.csv", sep=';', chunksize=chunk_size):
    chunk = chunk.fillna('')
    chunk_grouped = chunk.groupby('A').agg(agg_func)
    chunks.append(chunk_grouped)

# 合并所有分块的结果，再次聚合确保全局去重
result_df = pd.concat(chunks).groupby('A').agg(agg_func).reset_index()
result_df.to_csv("C://result.csv", sep=';', na_rep='', index=False)

总结 #

你的初始方向没问题，只需要调整聚合函数和空值处理逻辑，就能得到符合预期的输出。上面的方案既解决了格式问题，又完美支持动态列，还能应对超大型文件的场景。

内容的提问来源于stack exchange，提问作者Thanthla