pandas.read_csv中列位置影响布尔值识别的原因及解决方法

问题场景 #

我有两个仅列顺序不同的制表符分隔TSV文件：

first_col.tsv #

name    bool_col    float_col
ist_true    true    1
also_true   1   2
is_false    false   3
also_false  0   4
is_empty        5

last_col.tsv #

name    float_col   bool_col
ist_true    1   true
also_true   2   1
is_false    3   false
also_false  4   0
is_empty    5   

使用以下Python代码读取文件：

import pandas as pd

df = pd.read_csv(
    "<filename>",
    sep="\t|,|;",
    true_values=["1","True","true","yes"],
    false_values=["0","False","false","no"]
).fillna({"bool_col": False}).set_index('name')
print(df)
print(df.dtypes)

出现的现象：读取first_col.tsv时，bool_col的类型为bool；但读取last_col.tsv时，bool_col的类型为object。奇怪的是，将这两个文件保存为CSV格式后，读取时两者的bool_col都能正确识别为布尔列。

原因解释 #

核心问题出在pandas的列类型推断逻辑上：

• pandas读取分隔符文件时，会按列逐行进行类型推断，默认基于前1000行的样本数据判断列类型。
• 对于first_col.tsv，bool_col是第二列，前几行的样本值（"true"、"1"、"false"、"0"）都能通过true_values/false_values映射为布尔值，空值后续被fillna填充为False，pandas能明确推断该列为bool类型。
• 对于last_col.tsv，bool_col是第三列，最后一行的bool_col位置为空值。pandas推断类型时，发现该列同时存在字符串（"true"、"false"）、整数（1、0）和空值，无法直接确定统一的布尔类型，因此将列类型设为object（可容纳混合类型）。后续的fillna只是填充空值，但不会改变列的已有类型。
• CSV文件无此问题，是因为CSV的分隔符处理对空值的识别更明确，且列顺序变化时，pandas的类型推断逻辑能更准确识别出布尔列的特征。

解决方法 #

以下几种方法可以确保无论列顺序如何，都能得到正确的布尔列：

方法1：显式指定列类型（推荐） #

在read_csv中用dtype参数直接指定bool_col的类型，推荐使用pandas的Nullable布尔类型（支持空值）：

import pandas as pd

df = pd.read_csv(
    "<filename>",
    sep="\t|,|;",
    true_values=["1","True","true","yes"],
    false_values=["0","False","false","no"],
    dtype={"bool_col": "boolean"}
).fillna({"bool_col": False}).set_index('name')

如果不需要Nullable类型，也可以读取后强制转换：

import pandas as pd

df = pd.read_csv(
    "<filename>",
    sep="\t|,|;",
    true_values=["1","True","true","yes"],
    false_values=["0","False","false","no"]
).set_index('name')
df['bool_col'] = df['bool_col'].fillna(False).astype(bool)

方法2：使用Python引擎读取 #

pandas默认的C引擎在类型推断上更高效但可能不够灵活，切换到Python引擎能更准确识别布尔列：

import pandas as pd

df = pd.read_csv(
    "<filename>",
    sep="\t|,|;",
    true_values=["1","True","true","yes"],
    false_values=["0","False","false","no"],
    engine='python'
).fillna({"bool_col": False}).set_index('name')

方法3：强制统一列顺序读取 #

先读取基准文件的列顺序，再强制所有文件按该顺序读取，确保类型推断逻辑一致：

import pandas as pd

# 获取基准列顺序
base_cols = pd.read_csv('first_col.tsv', sep="\t", nrows=0).columns

df = pd.read_csv(
    "<filename>",
    sep="\t|,|;",
    true_values=["1","True","true","yes"],
    false_values=["0","False","false","no"],
    usecols=base_cols,
    dtype={"bool_col": bool}
).fillna({"bool_col": False}).set_index('name')

内容的提问来源于stack exchange，提问作者svenmk