如何在Pandas中忽略或转换CSV文件中的"\N"值？

遇到ValueError: could not convert string to float: '\\N'是因为pandas自动解析数据类型时，无法将"\N"转换为数值类型。以下是几种实用解决方法：

方法1：读取时直接将"\N"识别为缺失值 #

使用read_csv的na_values参数，把"\N"指定为缺失值标记，pandas会自动将其转为NaN（数值列）或NaT（时间列），避免类型转换错误：

import pandas as pd
df = pd.read_csv("path", na_values="\\N")

之后可按需替换缺失值：

# 替换所有NaN为0
df.fillna(0, inplace=True)
# 或仅替换指定列
df["OBJ_1"] = df["OBJ_1"].fillna(0)
# 时间列替换为NaT后可保留时间类型
df["TCA"] = df["TCA"].fillna(pd.NaT)

方法2：强制指定列数据类型 #

如果明确各列的类型，可先将列读取为字符串，再手动替换"\N"并转换类型，适合需要精确控制数据类型的场景：

df = pd.read_csv("path", dtype={"OBJ_1": str, "OBJ_2": str, "TCA": str})

# 处理数值列
df["OBJ_1"] = df["OBJ_1"].replace("\\N", 0).astype(int)
df["OBJ_2"] = df["OBJ_2"].replace("\\N", 0).astype(int)

# 处理时间列
df["TCA"] = pd.to_datetime(df["TCA"], errors="coerce")

方法3：分块读取超大文件 #

如果文件体积过大，内存无法一次性加载，可使用分块读取方式，逐块处理后合并：

chunk_size = 100000  # 根据内存调整块大小
processed_chunks = []

for chunk in pd.read_csv("path", na_values="\\N", chunksize=chunk_size):
    # 逐块替换缺失值
    chunk.fillna(0, inplace=True)
    processed_chunks.append(chunk)

# 合并所有块
df = pd.concat(processed_chunks, ignore_index=True)

内容的提问来源于stack exchange，提问作者Ibn Masood