使用cudf.pandas结合ClickHouse Driver插入DataFrame遇TypeError求解决方案

我在使用Rapids库加速Pandas时，代码开头如下：

import cudf.pandas

cudf.pandas.install()
import pandas as pd

使用clickhouse-driver的client.insert_dataframe方法插入数据时，遇到错误：

TypeError: Unsupported column type: <class 'cudf.pandas._wrappers.numpy.ndarray'>. list or tuple is expected.

我确认列类型是浮点数和日期时间，但不清楚错误原因，请问如何将DataFrame转换为可被ClickHouse客户端插入的格式？

解决方案 #

方法1：转为原生Pandas DataFrame #

cudf.pandas.install()会让Pandas底层使用CUDA后端，此时的DataFrame是cudf的包装对象，列数据是cudf封装的ndarray类型，clickhouse-driver无法识别。直接用to_pandas()转成原生Pandas对象即可：

# 假设你的DataFrame名为df
native_df = df.to_pandas()
client.insert_dataframe("INSERT INTO your_table VALUES", native_df)

方法2：逐列转换数据类型 #

如果不想全量转换，可针对报错列将数据转为原生列表或numpy数组：

# 遍历列转换为列表
for col in df.columns:
    df[col] = df[col].values.tolist()

# 或者转换为原生numpy数组
# for col in df.columns:
#     df[col] = df[col].to_numpy()

client.insert_dataframe("INSERT INTO your_table VALUES", df)

方法3：文件批量导入（大数据量场景） #

若数据量较大，用cudf导出为ClickHouse兼容格式（如Parquet），再通过ClickHouse的批量导入工具处理，效率更高：

# 导出为Parquet文件
df.to_parquet("data.parquet")

然后通过命令行执行导入：

clickhouse-client --query "INSERT INTO your_table FORMAT Parquet" < data.parquet

内容的提问来源于stack exchange，提问作者Ivan Anisimov