使用Databricks向SQL Server保存数据时，如何将首行设为表头？

你的问题根源在于读取CSV时未启用表头识别，导致首行被当作数据行处理。只需在读取CSV的步骤中添加表头配置，即可让Spark将首行解析为数据表的列名，最终同步到SQL Server时自动生成对应表头。

修改后的完整代码 #

jdbcUrl = f"jdbc:sqlserver://{DBServer}.database.windows.net:1433;database={DBDatabase};user={DBUser};password={DBPword};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"

# 读取CSV时启用表头识别，可选自动推断列类型
df = spark.read.csv("/mnt/lake/RAW/OptionsetMetadata.csv", header=True, inferSchema=True)

df.write.mode("overwrite") \
    .format("jdbc") \
    .option("url", jdbcUrl) \
    .option("dbtable", 'UpdatedProducts')\
    .save()

关键修改说明 #

• header=True：明确告诉Spark将CSV的首行作为DataFrame的列名，而非数据内容。也可以写成.option("header", "true")，效果一致。
• inferSchema=True（可选）：让Spark自动推断每列的数据类型（如整数、字符串、日期等），避免所有列默认被识别为字符串类型，写入SQL Server时能匹配更合适的字段类型。

进阶：手动指定列类型（可选） #

如果需要更精准的字段类型控制，可以手动定义Schema：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DateType

# 根据你的CSV实际列定义Schema
custom_schema = StructType([
    StructField("ProductID", IntegerType(), nullable=True),
    StructField("ProductName", StringType(), nullable=True),
    StructField("CreateDate", DateType(), nullable=True)
])

df = spark.read.csv("/mnt/lake/RAW/OptionsetMetadata.csv", header=True, schema=custom_schema)

内容的提问来源于stack exchange，提问作者Patterson