含引号内逗号的字符串列表转DataFrame及验证方法

1. 处理列表转DataFrame报错问题（附更可靠的拆分方法） #

你碰到的Dataframe constructor not properly called!错误，基本是因为正则处理后的列表每行元素数量不一致（比如部分行拆出来不是24个元素），或者列表格式不符合DataFrame的构造要求。

替代正则的更稳妥拆分方式 #

其实不用自己写正则处理带引号的逗号，Python内置的csv模块原生支持识别引号包裹的含逗号字段，比手动写正则靠谱得多：

import pandas as pd
import csv

# 假设原始数据存在DataFrame的第一列，列名示例为'raw_data'
raw_lines = df['raw_data'].tolist()

processed_rows = []
for line in raw_lines:
    # 将单行字符串转为csv reader可处理的迭代器
    reader = csv.reader([line])
    processed_rows.append(next(reader))

# 转换为DataFrame，若有预设列名可添加columns参数
result_df = pd.DataFrame(processed_rows)

若坚持使用自己的正则结果转DataFrame #

先检查每行元素长度是否统一为24：

# 检查所有行的元素数量
row_lengths = [len(row) for row in your_regular_result]
# 输出不符合长度要求的行索引和长度
for idx, length in enumerate(row_lengths):
    if length != 24:
        print(f"第{idx}行元素数量为{length}，不符合24列要求")

修正后再执行转换：

result_df = pd.DataFrame(your_regular_result)

2. 验证引号内的含逗号值是否被完整识别 #

可以通过以下几种方式验证：

• 检查列数：拆分正确的话，DataFrame的列数应该正好是24，执行print(result_df.shape[1])，输出应为24。
• 抽查目标字段：找到原始数据中带引号的行，查看DataFrame中对应元素是否完整。比如原始行是"Jones, Mike",25,Engineer,...，检查对应列的值：

# 假设第一列索引为0，定位包含目标值的行
target_row = result_df[result_df[0] == "Jones, Mike"].iloc[0]
print(target_row[0])  # 应输出完整的"Jones, Mike"，不会被拆分为两个元素

• 统计含逗号的元素：统计某列中含逗号的元素数量，确认这些都是原本带引号的合法值，而非错误拆分的结果：

# 统计第一列含逗号的元素数量
comma_element_count = result_df[0].str.contains(',').sum()
print(f"第一列含逗号的元素共有{comma_element_count}个")
# 可与原始数据中带引号的含逗号值数量做对比

内容的提问来源于stack exchange，提问作者AlmightyAK