SQL Server 2022 PolyBase导入Parquet时bigint与datetime类型冲突问题

问题背景 #

Parquet文件中mydatetimefield为timestamp类型（内部以毫秒级bigint存储），导入SQL Server 2022的datetime2字段时触发错误：

Operand type clash: bigint is incompatible with datetime

当前临时方案是手动转换：

CONVERT(DATETIME2(2), DATEADD(SECOND, mydatetimefield / 1000, '1970-01-01'))

更优解决方案 #

1. 自定义外部文件格式，指定类型映射 #

SQL Server 2022支持通过CREATE EXTERNAL FILE FORMAT定义Parquet的类型转换规则，针对以bigint存储的timestamp字段，可显式映射到datetime2：

CREATE EXTERNAL FILE FORMAT ParquetWithTimestampMapping
WITH (
    FORMAT_TYPE = PARQUET,
    DATA_COMPRESSION = 'org.apache.hadoop.io.compress.SnappyCodec',
    TYPE_MAPPING = (
        'timestamp' AS 'datetime2(2)'
    )
);

后续使用该文件格式通过OPENROWSET或外部表导入时，会自动完成类型转换，无需手动编写转换逻辑。

2. 在OPENROWSET中临时指定类型映射 #

若无需创建持久化的外部文件格式，可在查询时直接临时指定映射规则：

SELECT *
FROM OPENROWSET(
    BULK 's3://your-bucket/path/to/file.parquet',
    FORMAT = 'PARQUET',
    TYPE_MAPPING = 'timestamp AS datetime2(2)'
) AS rs;

3. 创建视图封装转换逻辑 #

如果Parquet的timestamp是自定义的毫秒级bigint存储（非标准Parquet timestamp格式），自动映射不生效时，可创建视图统一处理转换，避免重复编写代码：

CREATE VIEW vw_ParquetData
AS
SELECT
    -- 保留毫秒精度的转换逻辑
    CONVERT(DATETIME2(2), DATEADD(MILLISECOND, mydatetimefield % 1000, DATEADD(SECOND, mydatetimefield / 1000, '1970-01-01'))) AS mydatetimefield,
    -- 其他字段直接选择
    other_field1,
    other_field2
FROM OPENROWSET(
    BULK 's3://your-bucket/path/to/file.parquet',
    FORMAT = 'PARQUET'
) AS rs;

与Azure Synapse的差异说明 #

Azure Synapse对Parquet的timestamp类型做了更智能的自动适配，能自动识别内部存储的毫秒/微秒级bigint时间戳并映射到datetime类型。而SQL Server 2022默认仅识别标准Parquet timestamp类型，因此需要显式指定类型映射规则来实现自动转换。

内容的提问来源于stack exchange，提问作者Gabe