基于Databricks Runtime 10.4 LTS（Spark 3.2.1），通过JDBC写入MySQL 5.7.12时如何设置主键约束？

我来帮你搞定这个问题——你之前踩的坑是误解了createTableOptions参数的作用：它不是用来传入完整DDL或ALTER语句的，而是用来附加到Spark自动生成的CREATE TABLE语句末尾的表选项。下面是两种能一步完成主键设置的方案，不用再手动操作MySQL：

方案1：结合createTableColumnTypes和createTableOptions设置主键 #

利用Spark生成基础的CREATE TABLE语句，通过createTableColumnTypes定义列的具体类型，再用createTableOptions添加表级主键约束（同时保留你需要的ENGINE配置）。这样拼接出来的SQL完全符合MySQL语法：

dataframe \
 .write \
 .format("jdbc") \
 .mode("overwrite") \
 .option("createTableColumnTypes", "col1 VARCHAR(255), col2 VARCHAR(255), col3 VARCHAR(255), col4 INT, col5 VARCHAR(255), col6 TIMESTAMP, col7 TIMESTAMP NOT NULL") \
 .option("createTableOptions", "ENGINE=InnoDB PRIMARY KEY(col1)") \
 .option("url", uri) \
 .option("driver", "com.mysql.jdbc.Driver") \
 .option("dbtable", table_name) \
 .save()

Spark会自动拼接出如下合法的MySQL建表语句：

CREATE TABLE db.table_name (
  col1 VARCHAR(255), 
  col2 VARCHAR(255), 
  col3 VARCHAR(255), 
  col4 INT, 
  col5 VARCHAR(255), 
  col6 TIMESTAMP, 
  col7 TIMESTAMP NOT NULL
) ENGINE=InnoDB PRIMARY KEY(col1);

方案2：先通过Spark执行DDL创建表，再写入数据 #

如果需要更灵活的表结构控制，可以先通过Spark的JDBC连接手动执行自定义的CREATE TABLE语句，再写入数据。这种方式完全由你掌控表结构，避免Spark自动生成语法的限制：

# 1. 先执行DDL创建带主键的表
from py4j.java_gateway import java_import
java_import(spark._jvm, "java.sql.Driver")

# 替换成你的MySQL用户名和密码
conn = spark._jvm.java.sql.DriverManager.getConnection(uri, "your_username", "your_password")
stmt = conn.createStatement()
create_table_sql = """
CREATE TABLE IF NOT EXISTS db.table_name(
  col1 varchar(255), 
  col2 varchar(255), 
  col3 varchar(255), 
  col4 int(11) DEFAULT NULL, 
  col5 varchar(255), 
  col6 timestamp NULL DEFAULT NULL, 
  col7 timestamp NOT NULL, 
  PRIMARY KEY(col1)
) ENGINE=InnoDB;
"""
stmt.executeUpdate(create_table_sql)
stmt.close()
conn.close()

# 2. 写入数据（用overwrite+truncate避免覆盖表结构）
dataframe \
 .write \
 .format("jdbc") \
 .mode("overwrite") \
 .option("truncate", "true") \
 .option("url", uri) \
 .option("driver", "com.mysql.jdbc.Driver") \
 .option("dbtable", table_name) \
 .save()

为什么你之前的方法失败了？ #

• 当你把完整的CREATE TABLE语句传给createTableOptions时，Spark会把它拼接到自己生成的CREATE TABLE语句后面，导致最终SQL变成CREATE TABLE table_name (...) CREATE TABLE ...，这显然违反MySQL语法规则。
• 传入ALTER语句给createTableOptions也不行，因为这个参数只能用于构造CREATE TABLE的附加选项，不能执行ALTER修改表的操作。

内容的提问来源于stack exchange，提问作者Suril Vara