如何将Python列表转换为分组DataFrame并按名称合并保存？

要实现按name分组生成独立CSV文件的需求，我们可以修改convertMerge函数，让它要么在内存中累积同用户的数据后统一导出，要么每次处理时直接追加到对应用户的文件中。下面是两种实用的实现方式：

方式1：内存累积数据（高效优先） #

这种方式会在函数外部维护一个字典，用来缓存每个用户的所有数据，等所有条目处理完成后一次性导出所有文件，避免频繁读写文件的开销：

import pandas as pd

# 用字典缓存每个name对应的DataFrame
name_data_cache = {}

def convertMerge(name_list):
    name, user_id = name_list
    # 把当前条目转为DataFrame
    current_df = pd.DataFrame([[name, user_id]], columns=['name', 'id'])
    
    # 缓存数据：如果用户已存在就合并，否则初始化
    if name in name_data_cache:
        name_data_cache[name] = pd.concat([name_data_cache[name], current_df], ignore_index=True)
    else:
        name_data_cache[name] = current_df

# 处理你的数据列表
data_list = [['mark', 1], ['tom', 2], ['mark', 3], ['mark', 4], ['tom', 5], ['stuart', 6]]
for name_list in data_list:
    convertMerge(name_list)

# 批量导出每个用户的CSV文件
for name, df in name_data_cache.items():
    df.to_csv(f'{name}.csv', index=False)

关键说明： #

• name_data_cache字典负责存储每个用户的完整数据，避免反复读写磁盘。
• pd.concat用来合并同一用户的新数据与已有数据，ignore_index=True保证导出的CSV索引是连续的。
• index=False参数会去掉pandas默认生成的索引列，和你给出的示例输出格式完全一致。

方式2：实时追加文件（数据流友好） #

如果你的数据是逐条到来的（比如从接口或日志流中读取），不想在内存中缓存所有数据，可以每次处理时直接追加到对应用户的CSV文件：

import pandas as pd

def convertMerge(name_list):
    name, user_id = name_list
    current_df = pd.DataFrame([[name, user_id]], columns=['name', 'id'])
    file_path = f'{name}.csv'
    
    # 判断文件是否存在：存在则追加（不写表头），不存在则新建（写表头）
    file_exists = pd.io.common.path_exists(file_path)
    df.to_csv(
        file_path,
        mode='a' if file_exists else 'w',
        header=not file_exists,
        index=False
    )

# 处理数据
data_list = [['mark', 1], ['tom', 2], ['mark', 3], ['mark', 4], ['tom', 5], ['stuart', 6]]
for name_list in data_list:
    convertMerge(name_list)

关键说明： #

• 通过pd.io.common.path_exists检查文件状态，动态调整写入模式和表头是否写入，避免重复表头问题。
• 这种方式不需要缓存所有数据，适合处理超大规模的数据流，但频繁读写文件的效率会比方式1稍低。

两种方式最终都会生成你需要的三个独立CSV文件，每个文件只包含对应name的所有记录。

内容的提问来源于stack exchange，提问作者luknajirku