Spark DataFrame写入SQL Server时如何指定列数据类型

Spark JDBC对接SQL Server时，默认将DataFrame的StringType映射为NVARCHAR类型，直接对DataFrame字段执行cast转StringType不会修改JDBC层的类型映射规则，因此不生效，可采用以下三种方案解决：

• 方案1：使用createTableColumnTypes选项手动指定字段类型（适合字段少的场景）
  直接在write的option参数中新增createTableColumnTypes配置，显式声明需要设为VARCHAR的字段及长度，修改后代码如下：

  url = "jdbc:sqlserver://{0}:{1};database={2}".format(jdbcHostname,jdbcPort,jdbcDatabase)
  mydf = spark.sql(f"SELECT * FROM {source['db']}.{source['table']}")
  mydf.write\
    .format("jdbc")\
    .mode("overwrite")\
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")\
    .option("url", url)\
    .option("dbtable", f"{destination['db']}.dbo.{destination['table']}")\
    .option("user", properties['user'])\
    .option("password", properties['password'])\
    .option("batchSize", 50000)\
    # 新增如下配置，按实际字段名和长度修改即可
    .option("createTableColumnTypes", "col1 varchar(255), col2 varchar(1000), col3 varchar(50)")\
    .save()
  

• 方案2：批量生成VARCHAR映射规则（适合字段多的场景）
  自动遍历DataFrame所有字符串类型字段，批量生成类型声明，无需手动逐个写字段：

  from pyspark.sql.types import StringType
  
  # 遍历所有String类型字段，统一设置为varchar(255)，可根据不同字段调整长度规则
  varchar_columns = ", ".join([f"{field.name} varchar(255)" for field in mydf.schema.fields if isinstance(field.dataType, StringType)])
  
  # 写入时传入生成的配置
  mydf.write\
    .format("jdbc")\
    .mode("overwrite")\
    .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")\
    .option("url", url)\
    .option("dbtable", f"{destination['db']}.dbo.{destination['table']}")\
    .option("user", properties['user'])\
    .option("password", properties['password'])\
    .option("batchSize", 50000)\
    .option("createTableColumnTypes", varchar_columns)\
    .save()
  

• 方案3：提前建表再写入（适合生产环境稳定表结构场景）
  提前在SQL Server中创建目标表，将所有字符串字段设为需要的VARCHAR类型，写入时将mode改为append或ignore，Spark会直接适配已有表的结构写入，不会自动生成NVARCHAR类型的字段。

注意事项：createTableColumnTypes配置仅在mode="overwrite"且Spark自动创建表时生效，若目标表已预先存在，该配置不会生效，需先删除目标表或手动修改已有表的字段类型。

内容的提问来源于stack exchange，提问作者Andrew Ren