ClickHouse读取含全None/NaN列的Parquet文件失败，如何无预定义类型处理？

核心问题原因 #

当Parquet文件中的列全为NULL/NaN时，Pandas默认会将该列的Parquet类型标记为纯NULL（无底层数据类型），而ClickHouse的自动Schema推断无法识别这种类型，导致建表失败。

推荐解决方案 #

方案1：从Parquet生成端修复（最可靠） #

在Pandas创建DataFrame时，显式指定全NULL列的数据类型，确保Parquet文件保留列的原始类型信息：

import pandas as pd
import clickhouse_driver

# 为全NULL列指定可空类型（示例为Int64，根据实际需求调整为String/Float等）
toy_df = pd.DataFrame({
    'Column1': pd.Series([None, None, None, None], dtype=pd.Int64Dtype()),
    'Column2': ['A', 'B', 'C', 'D']
})
toy_df.to_parquet('../data/parquet/toy_df.parquet')

# 原导入代码无需修改
client.execute(
'''
CREATE TABLE toy ENGINE = MergeTree() ORDER BY tuple()
AS SELECT * FROM file('toy_df.parquet', 'Parquet')
'''
)

此方法导出的Parquet列带有明确的可空类型，ClickHouse可直接自动推断并建表，完全符合无需手动定义类型的需求。

方案2：在ClickHouse导入端自动适配（无需修改Parquet） #

如果无法调整Parquet生成逻辑，可通过会话级设置让ClickHouse为全NULL列自动分配默认可空类型：

# 设置会话参数，将纯NULL列推断为Nullable(String)（兼容性最强）
client.execute("SET input_format_parquet_infer_null_type_as = 'Nullable(String)'")

# 执行导入
client.execute(
'''
CREATE TABLE toy ENGINE = MergeTree() ORDER BY tuple()
AS SELECT * FROM file('toy_df.parquet', 'Parquet')
'''
)

该设置会让所有无法推断的全NULL列自动转为Nullable(String)类型，既保留所有原始列，又无需手动定义表结构。

方案3：跳过问题列（备选，仅适用于可丢弃列） #

如果全NULL列对后续ELT流程无意义，可使用错误提示中的设置跳过这些列：

client.execute("SET input_format_parquet_skip_columns_with_unsupported_types_in_schema_inference = 1")

client.execute(
'''
CREATE TABLE toy ENGINE = MergeTree() ORDER BY tuple()
AS SELECT * FROM file('toy_df.parquet', 'Parquet')
'''
)

注意：此方法会丢失全NULL列，不符合保留原始数据的需求，仅作应急备选。

内容的提问来源于stack exchange，提问作者Adrien Pacifico