带引号/无引号混合字符串列的哑变量转换及SQL导出问题

从SQL数据库导出的CSV文件中，value列存储的是字符串列表，但格式不统一：带空格的字符串有引号，无空格的字母数字字符串无引号。现有代码仅能处理带引号的字符串，无法转换所有情况生成哑变量。

示例数据 #

user_id  B                                    value
0      a1  3                          {no_quotations} #无引号
1      a2  4       {"with quotations", no_quotations} #混合
2      a3  1  {"with quotations", "with quotations 2"} #带引号含空格
3      a4  1          {no_quotations, no_quotations2} #无引号
4      a6  1                      {"with quotations"} #带引号含空格

现有处理代码 #

import pandas as pd 
import ast 

df = pd.read_csv("/content/SQLDB_quotations_in_literal_example.csv")
df_ = df.iloc[[2,4]]['value'].apply(lambda x: list(ast.literal_eval(x))) 
pd.merge(df, pd.get_dummies(df_.apply(pd.Series).stack()).groupby(level=0).sum(), left_index=True, right_index=True, how='outer' )

现有代码仅支持带引号的字符串转换，无法处理无引号的情况。另有两个疑问：

1. 如何处理value列中缺失引号的字符串？
2. 这种情况是SQL数据存储错误，还是存在可避免该问题的导出方式？

注：带引号的字符串包含空格，无引号的字符串无空格。

1. 处理缺失引号的字符串 #

可以通过正则表达式给无空格的字母数字字符串补上引号，让整个value列的格式符合Python字面量要求，再用ast.literal_eval解析。具体实现如下：

import pandas as pd
import ast
import re

# 读取数据
df = pd.read_csv("/content/SQLDB_quotations_in_literal_example.csv")

# 定义正则替换函数：给无引号的无空格字符串加引号
def fix_value_format(s):
    # 匹配{或,后面、}或,前面的无空格单词，且未被引号包裹
    pattern = r'(?<=[{,])\s*(\w+)\s*(?=[},])'
    return re.sub(pattern, r'"\1"', s)

# 处理value列，解析为列表
df['value_list'] = df['value'].apply(lambda x: list(ast.literal_eval(fix_value_format(x))))

# 生成哑变量并合并到原数据
dummies = pd.get_dummies(df['value_list'].apply(pd.Series).stack()).groupby(level=0).sum()
result_df = pd.merge(df, dummies, left_index=True, right_index=True, how='outer')

# 可选：删除中间辅助列
result_df = result_df.drop('value_list', axis=1)
print(result_df)

这段代码能覆盖所有场景：纯无引号、混合格式、纯带引号的value值，都能正确解析为列表并生成对应的哑变量。

2. 关于SQL存储与导出的疑问 #

• 是否属于存储错误？：不算严格的存储错误，但属于格式不规范。这种格式通常是SQL导出工具的“简化处理”——认为无空格的标识符不需要引号，但这不符合标准的结构化数据格式，导致后续解析困难。
• 如何避免该问题？：
  • 导出前，在SQL中主动格式化数组内容：比如用array_to_string（PostgreSQL）或GROUP_CONCAT（MySQL）时，给每个元素手动添加引号，再导出为CSV。
  • 选择标准格式导出：直接导出SQL中的数组/列表类型为JSON格式，再用Pandas读取JSON，能从根源避免引号缺失的问题。

内容的提问来源于stack exchange，提问作者Leo