如何在Python中读取含列表、集合、字典的CSV并保留数据类型？

嘿，这个问题我之前处理过类似场景，来给你详细捋清楚～

首先明确一点：直接用默认的CSV读取方法（比如pandas.read_csv()）没办法自动保留列表、集合、字典这些复杂数据类型，因为CSV本身是纯文本格式，没有原生支持这些类型的语法标记，默认会把所有内容都当成字符串读取。但我们可以通过自定义解析逻辑来实现类型保留，下面分两种情况给你最优方案：

一、针对已存在的、格式固定的CSV文件 #

如果你的CSV已经生成好了，格式和示例里一致，我们可以通过自定义转换器函数，配合ast.literal_eval（安全的Python字面量解析工具）来把字符串转成对应的复杂类型。

具体代码示例 #

import pandas as pd
import ast
import re

# 自定义解析函数
def parse_list(s):
    # 处理列表格式：[item1, item2]
    s = s.strip()
    if s.startswith('[') and s.endswith(']'):
        items = [item.strip() for item in s[1:-1].split(',')]
        return items
    return []

def parse_set(s):
    # 处理集合格式：{item1, item2}
    s = s.strip()
    if s.startswith('{') and s.endswith('}'):
        items = [item.strip() for item in s[1:-1].split(',')]
        return set(items)
    return set()

def parse_dict(s):
    # 处理字典格式：{F: [AB, CD]} → 原格式键无引号，需修正为合法Python字面量
    s = s.strip()
    # 用正则给无引号的键加上双引号
    s_fixed = re.sub(r'(\w+):', r'"\1":', s)
    try:
        return ast.literal_eval(s_fixed)
    except:
        return {}

# 读取CSV时指定转换器
df = pd.read_csv('your_file.csv', converters={
    'items': parse_list,
    'methods': parse_set,
    'dict_col': parse_dict
})

# 验证类型
print(type(df.loc[0, 'items']))  # <class 'list'>
print(type(df.loc[0, 'methods']))  # <class 'set'>
print(type(df.loc[0, 'dict_col']))  # <class 'dict'>

注意：这个方案依赖于CSV里的复杂类型格式固定，如果格式有变化（比如元素带引号、嵌套更深），可能需要调整解析函数。

二、如果是你自己生成CSV文件（最优方案） #

如果CSV是你这边生成的，优先用JSON序列化复杂类型，这是最健壮、最不容易出错的方式。因为JSON是标准格式，能完美支持列表、字典等嵌套结构，读取时直接用JSON解析即可。

生成CSV时的处理 #

import pandas as pd
import json

# 构造原始数据（已为Python复杂类型）
data = [
    {'user_id': 'ID01', 'items': ['potato', 'apple', 'potato'], 'methods': {'card', 'cash'}, 'dict_col': {'F': ['AB', 'CD']}},
    {'user_id': 'ID02', 'items': ['carrots', 'papaya'], 'methods': {'bitcoin', 'card'}, 'dict_col': {'F': ['AB', 'CD']}}
]

# 集合转列表（JSON不支持集合，用数组存储更通用）
for row in data:
    row['methods'] = list(row['methods'])

# 转成DataFrame后，将复杂类型列转为JSON字符串
df = pd.DataFrame(data)
df['items'] = df['items'].apply(json.dumps)
df['methods'] = df['methods'].apply(json.dumps)
df['dict_col'] = df['dict_col'].apply(json.dumps)

# 保存CSV
df.to_csv('standardized_file.csv', index=False)

读取CSV时的处理 #

import pandas as pd
import json

# 读取时用json.loads解析JSON字符串
df = pd.read_csv('standardized_file.csv', converters={
    'items': json.loads,
    'methods': lambda x: set(json.loads(x)),  # 把列表转回集合
    'dict_col': json.loads
})

# 验证类型
print(type(df.loc[0, 'items']))  # <class 'list'>
print(type(df.loc[0, 'methods']))  # <class 'set'>
print(type(df.loc[0, 'dict_col']))  # <class 'dict'>

这种方案的好处是完全基于标准格式，不用担心自定义解析函数的兼容性问题，适合长期维护的场景。

内容的提问来源于stack exchange，提问作者datapug