如何移除/处理pandas实验性类型pd.NA？相关技术咨询

不清楚如何移除或处理pandas的实验性数据类型pd.NA，它引发了诸多问题。例如以下代码中，使用pd.NA时运行结果与np.nan截然不同：

import pandas as pd 
import numpy as np

print(pd.__version__)
print("with np.nan --> working")
df = pd.DataFrame({"a": [1,2,3,4,np.nan], 'b': [2,3,4,5,np.nan], 'c': [10, 1,2,3,np.nan]})
Conditions_group = [
    (df.values == 1) | (df.values == 2),
    (df.values == 3) | (df.values == 4)
]
choices = ["1&2", "3&4"]
print(Conditions_group)
new_df  = np.select(Conditions_group, choices, default=np.nan)
print(new_df)


print("with pd.NA --> not working  ")
df.replace(np.nan, pd.NA, inplace=True)
Conditions_group = [
    (df.values == 1) | (df.values == 2),
    (df.values == 3) | (df.values == 4)
]
print(Conditions_group)
new_df  = np.select(Conditions_group, choices, default=np.nan)
print(new_df)

输出结果： #

1.4.4
with np.nan --> working
[array([[ True,  True, False],
       [ True, False,  True],
       [False, False,  True],
       [False, False, False],
       [False, False, False]]), array([[False, False, False],
       [False,  True, False],
       [ True,  True, False],
       [ True, False,  True],
       [False, False, False]])]
[['1&2' '1&2' 'nan']
 ['1&2' '3&4' '1&2']
 ['3&4' '3&4' '1&2']
 ['3&4' 'nan' '3&4']
 ['nan' 'nan' 'nan']]
with pd.NA --> not working  
[False, False]
nan

还发现pd.NA会在数据导出、导入或其他操作中再次出现，因它处于实验阶段，希望彻底移除。现咨询：

1. 是否有办法阻止pandas使用pd.NA？
2. 是否需编写函数在每次导入数据时检查并移除pd.NA？

此外，当列类型为category时，执行如下replace操作会报错：

df['a'] = df['a'].astype("category")
print(df.replace(pd.NA, np.nan))

报错信息： #

TypeError: boolean value of NA is ambiguous

解决方案 #

1. 阻止pandas生成pd.NA #

pd.NA通常与pandas的可空数据类型（如Int64、boolean、string）绑定，要避免生成pd.NA，可通过以下方式：

• 全局配置禁用实验性类型：

  # 禁用自动转换为可空类型，避免生成pd.NA
  pd.set_option('mode.use_inf_as_na', False)
  # 针对pandas 2.0+，禁用nullable类型的自动推断
  pd.set_option('future.no_silent_downcasting', True)
  

• 数据导入时指定参数：
  使用pd.read_csv/pd.read_excel等导入函数时，强制指定传统数据类型，避免pandas自动推断为可空类型：

  # 示例：读取csv时指定列类型为传统类型，避免生成pd.NA
  df = pd.read_csv('data.csv', dtype={'a': 'int64', 'b': 'float64', 'c': 'object'}, na_values=np.nan)
  

2. 移除已存在的pd.NA #

无需编写复杂函数，以下方法可批量替换pd.NA为np.nan：

• 通用替换方法：
  对大多数数据类型，直接使用replace或fillna：

  # 替换所有pd.NA为np.nan
  df.replace(pd.NA, np.nan, inplace=True)
  # 或者用fillna实现
  df.fillna(np.nan, inplace=True)
  

• 针对category类型的特殊处理：
  category类型无法直接替换pd.NA，需先转换为object类型再替换，之后可重新转为category：

  # 批量处理所有category列的pd.NA
  for col in df.select_dtypes(include='category').columns:
      df[col] = df[col].astype('object').replace(pd.NA, np.nan).astype('category')
  

  或使用更简洁的where方法：

  df = df.where(df.notna(), np.nan)
  

针对np.select失效的问题 #

numpy无法识别pd.NA，导致比较操作返回非布尔值，进而使np.select失效。解决方法是先将pd.NA替换为np.nan，再执行numpy相关操作：

df.replace(pd.NA, np.nan, inplace=True)
# 之后再执行原代码中的Conditions_group和np.select操作即可正常运行

内容的提问来源于stack exchange，提问作者Leo