解决Dask的PerformanceWarning及PyArrow数据类型转换问题

1) 屏蔽该警告 #

直接用Python的warnings模块过滤目标警告即可：

import warnings
from dask_expr._accessor import PerformanceWarning

# 忽略该类警告
warnings.filterwarnings("ignore", category=PerformanceWarning)

# 或者精准匹配警告信息过滤
warnings.filterwarnings("ignore", message="Falling back on a non-pyarrow code path which may decrease performance")

2) 解决警告：替换前转为PyArrow字符串 #

触发警告的核心原因是当前列使用的是Pandas原生字符串类型，而非PyArrow优化类型。正确转换单列并执行替换的代码如下：

# 先将brand列转为PyArrow字符串类型再赋值
dataframe['brand_test'] = dataframe['brand'].astype('string[pyarrow]')
# 执行替换操作，此时会使用PyArrow优化路径
dataframe['brand_test'] = dataframe['brand_test'].str.replace('brand_1', 'PlayStation', case=False, regex=False)

也可以在数据初始化阶段就直接使用PyArrow类型，避免后续重复转换：

# Pandas阶段就指定PyArrow字符串类型
dataframe = pd.DataFrame({
    'status' :  ['pending', 'pending','pending', 'canceled','canceled','canceled', 'confirmed', 'confirmed','confirmed'],
    'clientId' : ['A', 'B', 'C', 'A', 'D', 'C', 'A', 'B','C'],
    'partner' :  ['A', np.nan,'C', 'A',np.nan,'C', 'A', np.nan,'C'],
    'product' : ['afiliates', 'pre-paid', 'giftcard','afiliates', 'pre-paid', 'giftcard','afiliates', 'pre-paid', 'giftcard'],
    'brand' : ['brand_1', 'brand_2', 'brand_3','brand_1', 'brand_2', 'brand_3','brand_1', 'brand_3', 'brand_3'],
    'gmv' : [100,100,100,100,100,100,100,100,100]
}).astype({
    'clientId':'string[pyarrow]',
    'partner':'string[pyarrow]',
    'status':'string[pyarrow]',
    'product':'string[pyarrow]',
    'brand':'string[pyarrow]'
})
# 转为Dask DataFrame
dataframe = dd.from_pandas(dataframe, npartitions=1)

3) 转换整个DataFrame为PyArrow类型及不自动转换的原因 #

转换整个DataFrame的方法 #

有两种常用实现方式：

• 手动指定类型：针对每列明确指定对应PyArrow类型

df_pyarrow = dataframe.astype({
    'status': 'string[pyarrow]',
    'clientId': 'string[pyarrow]',
    'partner': 'string[pyarrow]',
    'product': 'string[pyarrow]',
    'brand': 'string[pyarrow]',
    'gmv': 'int64[pyarrow]'  # 数值类型也可转为PyArrow对应类型
})

• 自动转换：使用convert_dtypes方法自动适配PyArrow可空类型

df_pyarrow = dataframe.convert_dtypes(dtype_backend='pyarrow')

为何Pandas/Dask不自动转换 #

• 兼容性考量：Pandas原生字符串类型是长期默认的标准类型，自动转换会导致依赖旧类型的存量代码出现兼容性问题。
• 依赖问题：PyArrow并非Pandas/Dask的强制依赖，若用户未安装PyArrow，自动转换会直接触发报错。
• 灵活性需求：不同业务场景下用户可能需要不同类型，保留手动选择的权利更符合工程实践的灵活性要求。

内容的提问来源于stack exchange，提问作者FábioRB