如何基于Pandas列值自动拆分数据集并生成对应CSV文件

完全可以实现自动生成，用Pandas的groupby方法就能高效完成这个需求，不需要手动逐个处理州名。以下是优化后的代码：

import pandas as pd
import os

# 若usa_df是字典格式，需先转为DataFrame：usa_df = pd.DataFrame(usa_df)
output_dir = "/path/to/file"

# 确保输出目录存在，避免因目录不存在报错
os.makedirs(output_dir, exist_ok=True)

# 按州名分组，遍历每个州对应的子数据集
for state_name, state_data in usa_df.groupby("state_name"):
    # 重置索引，让导出的CSV索引从0开始（可选）
    state_data = state_data.reset_index(drop=True)
    # 跨系统兼容的文件路径拼接
    file_path = os.path.join(output_dir, f"{state_name}.csv")
    # 导出CSV，不保留原索引
    state_data.to_csv(file_path, index=False)

关键细节说明： #

• groupby("state_name")：自动按州名完成分组，直接获取每个州对应的子数据集，无需手动维护州名列表，避免遗漏或重复。
• os.makedirs：提前创建输出目录，exist_ok=True参数保证目录已存在时不会报错，避免导出失败。
• 索引重置：原代码中reset_index(drop=True)未赋值，实际未生效，这里重新赋值给state_data，确保导出的CSV无原数据集的索引列。
• 路径拼接：用os.path.join替代手动拼接路径，适配Windows、Linux等不同系统的路径规则。

替代方案（手动维护州名列表）： #

如果坚持先获取州名列表再遍历，也可以用以下方式：

import pandas as pd
import os

output_dir = "/path/to/file"
os.makedirs(output_dir, exist_ok=True)

# 获取所有唯一州名
state_list = usa_df["state_name"].unique().tolist()

for state_name in state_list:
    state_data = usa_df[usa_df["state_name"] == state_name].reset_index(drop=True)
    file_path = os.path.join(output_dir, f"{state_name}.csv")
    state_data.to_csv(file_path, index=False)

不过第一种groupby的方法性能更优，处理20万行的数据集时效率更高。

内容的提问来源于stack exchange，提问作者enginexray