Linux下Pandas DataFrame转cuDF DataFrame报错求助

问题描述 #

我在Linux系统下尝试将Pandas DataFrame转换为cuDF DataFrame时遇到错误，执行代码及报错信息如下：

执行代码 #

import cudf
import pandas as pd

test_data = {
            'session_id':[1, 2],
             'val' : [1.1, 2.2]
        }
pd_df = pd.DataFrame(test_data)
pd_df.info()

# pd_df.info()输出：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2 entries, 0 to 1
Data columns (total 2 columns):
#   Column      Non-Null Count  Dtype  
---  ------      --------------  -----  
0   session_id  2 non-null      int64  
1   val         2 non-null      float64
dtypes: float64(1), int64(1)
memory usage: 160.0 bytes

cudf.DataFrame.from_pandas(pd_df) # 此处触发错误

报错信息 #

RuntimeError: cuDF failure at: /opt/rapids/src/cudf/cpp/src/interop/from_arrow.cu:86: Unsupported type_id conversion to cuDF

我查看cuDF源码，其中明确包含支持INT64和DOUBLE类型转换的逻辑：

case arrow::Type::INT64: return data_type(type_id::INT64);
case arrow::Type::DOUBLE: return data_type(type_id::FLOAT64);

但转换仍然失败，请问问题出在哪里？

补充信息

• 系统：Debian 4.19.269-1
• Python版本：3.8.10

排查与解决方法 #

1. 检查Arrow版本兼容性 #

cuDF依赖Apache Arrow完成数据格式转换，若pyarrow版本与cuDF要求的版本不匹配，会导致类型映射逻辑失效。

• 解决步骤：
  1. 查看当前cuDF版本对应的兼容pyarrow版本（可通过cuDF官方文档确认）
  2. 卸载现有pyarrow并安装匹配版本，例如：

     pip uninstall pyarrow -y
     pip install pyarrow==10.0.1 # 示例版本，需对应你的cuDF版本
     

2. 验证cuDF与Python/Pandas版本兼容性 #

部分cuDF版本对Python和Pandas版本有严格限制，版本不匹配会引发转换时的类型处理异常。

• 解决步骤：
  1. 查看cuDF官方文档中对应版本支持的Python、Pandas范围
  2. 升级或降级Pandas到兼容版本，例如：

     pip install pandas==1.4.4 # 示例版本，需对应你的cuDF版本
     

3. 确认系统底层依赖完整性 #

Debian系统可能缺少cuDF运行所需的底层库（如对应版本的CUDA Toolkit、libarrow开发包），导致类型转换的底层逻辑无法正常执行。

• 解决步骤：
  1. 检查CUDA版本是否与cuDF兼容（例如cuDF 23.02需要CUDA 11.7）
  2. 安装对应版本的CUDA Toolkit，同时安装匹配的libarrow-dev依赖：

     sudo apt-get install libarrow-dev=10.0.1-1
     

4. 处理索引的隐形类型问题 #

Pandas默认的RangeIndex在转换为Arrow格式时可能出现类型识别异常，可尝试显式指定索引类型：

• 解决代码：

  pd_df = pd_df.reset_index(drop=True)
  pd_df.index = pd_df.index.astype('int64')
  cudf_df = cudf.DataFrame.from_pandas(pd_df)
  

内容的提问来源于stack exchange，提问作者mtnt