PySpark转换后数据类型在Azure Data Factory仍显示为字符串如何解决？

CSV属于无类型文本格式，即便你在PySpark中已经转换了数据类型，输出CSV时并不会保留类型元数据，Azure Data Factory（ADF）默认解析CSV时会将所有列识别为字符串，这是问题的核心原因。以下是几种可行的解决方法：

方案1：输出CSV时同步生成Schema元数据文件 #

在Databricks的PySpark代码中，导出处理后DataFrame的Schema为JSON文件，让ADF通过该元数据文件识别正确的列类型：

• 示例代码：

# 假设处理后的DataFrame为df
# 导出Schema到ADLS的JSON文件
schema_json = df.schema.json()
dbutils.fs.put("/adls-path/output_schema.json", schema_json, overwrite=True)

# 输出带表头的CSV文件
df.write.mode("overwrite").option("header", "true").csv("/adls-path/output.csv")

• 在ADF中的操作：
  • 打开对应的CSV数据集，切换到Schema标签页
  • 勾选「Import schema」，选择「From file」，指定刚才生成的output_schema.json路径
  • 保存后ADF会依据元数据正确识别各列类型

方案2：在ADF数据集中手动指定列类型 #

如果不想生成额外的元数据文件，可以直接在ADF的CSV数据集中手动定义列类型：

• 打开目标CSV数据集，进入Schema标签页
• 点击「Edit」，逐个将列的类型修改为对应类型（如整数、日期时间等）
• 保存后，复制活动的映射会使用手动指定的类型

方案3：改用Parquet格式输出（推荐） #

Parquet是自带类型元数据的列式存储格式，ADF可以直接识别其列类型，彻底避免CSV的类型丢失问题：

• 修改Databricks的输出代码：

df.write.mode("overwrite").parquet("/adls-path/output.parquet")

• 在ADF中使用Parquet数据集，无需额外配置即可自动识别所有列的正确类型，后续复制到Azure SQL Server时的类型映射也更准确

额外注意事项 #

• 确保PySpark输出的数据格式符合目标类型要求（比如日期格式统一、数值列无非法字符），否则ADF即使识别了类型也可能出现转换错误
• 在ADF复制活动的映射界面，确认Azure SQL Server的目标列类型与ADF识别的源类型匹配，必要时手动调整映射关系

附用户提供的截图：

• Databricks PrintSchema截图：Databricks PrintSchema 截图
• Azure Data Factory映射设置截图：ADF 映射设置截图

内容的提问来源于stack exchange，提问作者CloudEngineer