列结构不一致的数据集导出CSV格式：是否有可用库或解决方案？

你说得没错，Python标准库的csv模块无法直接处理这种列结构不一致的情况，但我们有两种优质解决方案：一种是使用第三方库快速实现，另一种是基于标准库进行扩展处理。

方案一：使用Pandas（最简第三方库方案） #

Pandas是处理这类数据场景的首选库，它会自动识别所有唯一列，并将缺失的列值填充为空字符串，完全符合你的需求，而且实现起来几乎是单方法调用。

代码示例：

import pandas as pd

# 你的输入数据
data = [ {'a': 1, 'b': 2, 'c': 3}, {'b': 2, 'd': 4, 'e': 5, 'a': 1}, {'b': 2, 'd': 4, 'a': 1} ]

# 转换为DataFrame，自动收集所有列
df = pd.DataFrame(data)

# 导出为CSV，将NaN替换为空字符串，不写入索引列
df.to_csv('output.csv', index=False, na_rep='')

执行这段代码后，生成的CSV文件会包含所有列，缺失值的位置会显示为空，完全匹配你期望的输出格式。

方案二：基于标准csv模块实现（无依赖） #

如果你不想引入第三方库，也可以通过标准csv模块实现，只需要先收集所有唯一列名，再利用DictWriter的restval参数填充缺失值。

代码示例：

import csv

data = [ {'a': 1, 'b': 2, 'c': 3}, {'b': 2, 'd': 4, 'e': 5, 'a': 1}, {'b': 2, 'd': 4, 'a': 1} ]

# 第一步：收集所有行中的唯一列名
all_columns = set()
for row in data:
    all_columns.update(row.keys())
# 可选：对列名排序，保证输出顺序一致
all_columns = sorted(all_columns)

# 第二步：使用DictWriter写入CSV
with open('output_custom.csv', 'w', newline='') as csvfile:
    # restval参数指定缺失列时填充的内容
    writer = csv.DictWriter(csvfile, fieldnames=all_columns, restval='')
    writer.writeheader()
    writer.writerows(data)

为什么标准csv模块看似无法处理？ #

其实不是模块本身不能处理，而是它需要提前知道所有列名。只要先从数据中收集到所有可能的列，再配合restval参数，就能完美解决列结构不一致的问题。

内容的提问来源于stack exchange，提问作者Kirby