如何在Pandas DataFrame中将string[pyarrow]类型列转为布尔类型？

问题背景 #

需要将存储为字符串的布尔值（如y/n/NA、true/false/NA或混合形式）转换为布尔类型。使用NumPy后端的Pandas时转换流程顺畅，但切换到PyArrow后端（比如通过pd.read_parquet的dtype_backend参数启用）时，原有的replace方法会报错——因为PyArrow字符串列仅允许NA或字符串类型的值，无法直接插入布尔值。

NumPy后端的可行代码 #

import pandas as pd

df = pd.DataFrame({"col1": ["true", None, "false"]})
assert df.dtypes["col1"] == "object", df.dtypes["col1"]
# 转换为布尔类型
df["col1"] = df["col1"].replace({'true': True, 'false': False}).astype(bool)
assert df.dtypes["col1"] == bool, df.dtypes["col1"]

PyArrow后端的报错场景 #

使用PyArrow字符串类型时，replace步骤会抛出TypeError: Scalar must be NA or str：

df_pyarrow = pd.DataFrame(
    {"col1": ["true", None, "false"]}, dtype="string[pyarrow]"
)
assert df_pyarrow.dtypes["col1"] == "string", df_pyarrow.dtypes["col1"]
df_pyarrow["col1"] = (
    df_pyarrow["col1"]
    .replace({'true': True, 'false': False})  # 此步骤报错
    .astype(bool)
)
assert df_pyarrow.dtypes["col1"] == "bool[pyarrow]", df_pyarrow.dtypes["col1"]

尝试方法的缺陷 #

用df_pyarrow["col1"] == "true"的方式能完成转换，但存在两个问题：

• df_pyarrow.info()仍显示列类型为string[pyarrow]
• 灵活性差，无法适配多值对应True/False的场景

标准解决方法 #

方法1：map+字典映射+显式转PyArrow布尔类型 #

通过map定义多值映射规则，空值会自动保留，最后显式转换为PyArrow布尔类型：

import pandas as pd

df_pyarrow = pd.DataFrame(
    {"col1": ["true", None, "false", "y", "n"]}, dtype="string[pyarrow]"
)
# 自定义多值映射字典
bool_map = {'true': True, 'y': True, 'false': False, 'n': False}
# 映射后转为pyarrow布尔类型
df_pyarrow["col1"] = df_pyarrow["col1"].map(bool_map).astype("bool[pyarrow]")

assert df_pyarrow.dtypes["col1"] == "bool[pyarrow]", df_pyarrow.dtypes["col1"]

方法2：replace统一字符串标识+直接转布尔 #

先将多值替换为统一的"true"/"false"字符串，再利用PyArrow的类型转换能力直接转布尔：

df_pyarrow["col1"] = (
    df_pyarrow["col1"]
    .replace({'y': 'true', 'n': 'false'})  # 统一为标准字符串标识
    .astype("bool[pyarrow]")  # PyArrow原生支持将"true"/"false"转为布尔值
)

方法3：pd.to_numeric辅助转换（适用于简单场景） #

对于true/false或1/0这类标准格式，可先转数值再转布尔：

df_pyarrow["col1"] = pd.to_numeric(df_pyarrow["col1"], errors="coerce").astype("bool[pyarrow]")

注意：此方法仅适用于可转换为数值的字符串，灵活性不如前两种。

内容的提问来源于stack exchange，提问作者James Owers