Azure Synapse专用SQL池PolyBase导出ADLS生成.parquet扩展名方法咨询

当使用PolyBase通过外部表导出Parquet数据到ADLS时，默认生成的文件扩展名是.parq，这是PolyBase的设计行为。如果需要直接生成.parquet扩展名的文件，可以参考以下几种方法：

方法1：用COPY INTO语句替代PolyBase（推荐） #

COPY INTO是Synapse专用SQL池更灵活的批量数据导出工具，支持显式指定输出文件的扩展名。示例SQL如下：

COPY INTO 'abfss://containername@storageaccountname.dfs.core.windows.net/foldername/folder/schema_table/*.parquet'
FROM [schema].[table]
WITH (
    FILE_TYPE = 'PARQUET',
    DATA_SOURCE = [SomeExternalDataSourcename]
);

通过在目标路径中指定*.parquet，导出的文件会直接使用.parquet作为扩展名，无需事后修改。

方法2：事后批量重命名文件 #

如果已经通过PolyBase生成了.parq文件，可以通过以下工具批量修改扩展名：

• Azure Storage Explorer：选中目标文件夹下的所有.parq文件，右键选择重命名，批量替换后缀为.parquet
• AzCopy命令：使用azcopy rename命令批量修改文件名
• Synapse Studio存储浏览器：直接在界面中批量重命名文件

这种方法适合已有导出文件的场景，但不属于直接生成的方案。

方法3：通过Synapse Spark作业导出 #

如果业务允许结合Spark处理，可以用Spark读取SQL池中的表，然后写出时指定扩展名：

# 读取SQL池表数据
df = spark.read.sql("SELECT * FROM [schema].[table]")
# 导出为带.parquet扩展名的文件
df.write.parquet(
    path="abfss://containername@storageaccountname.dfs.core.windows.net/foldername/folder/schema_table/",
    extension="parquet"
)

这种方式可以精准控制输出文件的扩展名，适合需要先做数据预处理的场景。

内容的提问来源于stack exchange，提问作者harin pagidimuntala