使用Python/Pandas修改CSV导入数据类型失败的解决方法

先排查核心原因 #

首先得明确列中到底存在什么异常内容导致转换失败，运行以下代码查看列值的类型和原始内容：

# 输出列前20个值的类型与原始字符串表示
print(df['col'].apply(lambda x: (type(x), repr(x))).head(20))

这能帮你快速定位是否有前后空格、不可见字符（如\t、\r）、非标准空值标记（如'N/A'、'NULL'、' '）等问题。

针对性解决方案 #

1. 清理隐藏字符与多余空格 #

多数转换失败是因为数据中存在隐藏空格或不可见字符，先做清洗再转换：

# 去除前后空格，替换所有连续空白字符
df['col'] = df['col'].str.strip().str.replace(r'\s+', '', regex=True)

# 转数值类型（无法转换的设为NaN）
df['col'] = pd.to_numeric(df['col'], errors='coerce')

# 若要转字符串类型
df['col'] = df['col'].str.strip().astype(str)
# 将NaN转为空字符串
df['col'] = df['col'].replace('nan', '', regex=False)

2. 导入阶段提前处理 #

不要等导入后再调整，直接在read_csv阶段指定参数处理：

df = pd.read_csv(
    'filename.csv',
    sep=',',
    na_values=['', ' ', 'N/A', 'NULL'],  # 将这些标记统一识别为NaN
    dtype={'col': 'float64'}  # 先转为浮点型，后续可转整数（需先处理NaN）
)
# 填充NaN后转整数类型
df['col'] = df['col'].fillna(0).astype('int64')

3. 处理混合数据类型列 #

如果列中同时存在字符串、数字甚至非结构化内容，用自定义函数做安全转换：

def safe_convert(val):
    val_str = str(val).strip()
    # 处理空值标记
    if val_str in ['', 'nan', 'N/A', 'NULL']:
        return None
    # 优先转整数（处理千分位逗号）
    try:
        return int(val_str.replace(',', ''))
    except ValueError:
        # 转失败尝试浮点型
        try:
            return float(val_str.replace(',', ''))
        except ValueError:
            # 实在转不了保留原字符串
            return val_str

df['col'] = df['col'].apply(safe_convert)

4. 检查文件编码或损坏 #

若以上方法无效，可能是文件编码问题或损坏，尝试指定编码导入：

# 处理带BOM头的UTF-8文件
df = pd.read_csv('filename.csv', sep=',', encoding='utf-8-sig')
# 若仍有问题，尝试其他编码如gbk、cp1252

验证转换结果 #

转换完成后，用以下代码确认类型与值是否符合预期：

print(df['col'].dtype)
print(df['col'].unique())

内容的提问来源于stack exchange，提问作者dzky23