Python读取CSV文件时将空单元格转为None值的方案求助

1. 正确读取CSV文件 #

读取时配置参数，确保连续逗号对应的空单元格被识别为NaN：

import pandas as pd

# 读取CSV，指定空字符串为NA，关闭默认NA规则避免干扰
df = pd.read_csv('your_file.csv', sep=',', keep_default_na=False, na_values=[''])

这里keep_default_na=False关闭pandas默认的NA识别逻辑，na_values=['']明确将空字符串标记为NaN，保证连续逗号之间的空单元格被正确识别。

2. 将NaN转换为Python原生None #

由于pandas数值型列无法直接存储None（会自动转回NaN），需遍历每个单元格处理：

# 逐个检查单元格，将NaN替换为None
df = df.applymap(lambda x: None if pd.isna(x) else x)

这种方式会把所有列的元素转为Python对象类型，确保None能被正确存储，不会被自动转换回NaN。

3. 转换为元组用于MySQL插入 #

用itertuples生成不含索引的元组迭代器，直接适配cursor.execute的参数要求：

# 生成所有行的元组列表
data_tuples = [tuple(row) for row in df.itertuples(index=False)]

# 批量插入示例
for row_tuple in data_tuples:
    cursor.execute(
        "INSERT INTO your_table(col1, col2, col3, col4, col5, col6, col7) VALUES (%s, %s, %s, %s, %s, %s, %s)",
        row_tuple
    )

原方法失效原因 #

你之前用chunk.replace(np.nan, None, regex=True)不生效，是因为pandas数值型列基于numpy数组，而numpy数值数组不支持存储Python的None，会自动将插入的None转回NaN。applymap则是逐个元素处理，强制将数值型元素转为Python对象，从而保留None。

内容的提问来源于stack exchange，提问作者Doron Abramovich