Spark通过JDBC写入MySQL时SaveMode.Ignore行为异常的问题咨询

先给你把事儿说透：你遇到的SaveMode.Ignore行为是完全正常的——这个模式的设计逻辑和你预期的“过滤重复行”根本不是一回事儿！

为什么SaveMode.Ignore会忽略整个写入？ #

Spark的SaveMode里，Ignore模式的规则是：

如果目标表已经存在，完全跳过整个写入操作，不会写入任何数据；只有当目标表不存在时，才会创建表并写入全部数据。

所以你第二次写入ID4、5、6时，因为MySQL表已经存在，Spark直接跳过了整个写入流程，这完全符合该模式的定义。

如何实现“仅忽略已存在主键，写入新行”？ #

这里给你两种实用方案，分别适配不同场景：

方案1：提前过滤DataFrame中的重复主键（低并发场景） #

思路是先从MySQL读取已存在的主键集合，在Spark端过滤掉待写入数据中已存在的ID，再用Append模式写入。

示例代码（Python）：

# 1. 读取MySQL中已存在的主键ID
existing_ids_df = spark.read.jdbc(
    url="jdbc:mysql://你的主机:3306/你的数据库",
    table="你的表名",
    properties={"user": "用户名", "password": "密码"}
).select("id")

# 2. 转换为本地集合（数据量小时用这个；数据量大建议用广播变量）
existing_ids = set(existing_ids_df.rdd.map(lambda row: row.id).collect())

# 3. 过滤待写入数据，只保留不存在的ID
filtered_df = 待写入数据_df.filter(~待写入数据_df.id.isin(existing_ids))

# 4. 用Append模式写入
filtered_df.write.jdbc(
    url="jdbc:mysql://你的主机:3306/你的数据库",
    table="你的表名",
    mode="append",
    properties={"user": "用户名", "password": "密码"}
)

⚠️ 注意：如果在“读取主键”和“写入数据”之间，有其他进程往MySQL写入了新的ID，可能会出现重复写入的情况，适合低并发、数据更新不频繁的场景。

方案2：利用MySQL的INSERT ... ON DUPLICATE KEY UPDATE（高并发推荐） #

思路是借助MySQL原生的主键冲突处理语法，让数据库自动忽略重复行（或者执行无意义的更新），不需要在Spark端提前过滤数据。

示例代码（Python）：

jdbc_properties = {
    "user": "用户名",
    "password": "密码",
    "rewriteBatchedStatements": "true",  # 开启批量写入优化
    "useServerPrepStmts": "false"
}

# 自定义插入语句：遇到主键重复时，执行一个无意义的更新（相当于忽略重复）
custom_insert_sql = """
INSERT INTO 你的表名 (id, 列1, 列2) VALUES (?, ?, ?)
ON DUPLICATE KEY UPDATE id = id
"""

# 写入数据，指定自定义插入语句
待写入数据_df.write.jdbc(
    url="jdbc:mysql://你的主机:3306/你的数据库",
    table="你的表名",
    mode="append",
    properties=jdbc_properties,
    insertInto=custom_insert_sql  # 注意：部分Spark版本可能需要用`option("statement", custom_insert_sql)`
)

✅ 优势：不需要提前读取数据，避免了并发场景下的重复风险，所有冲突处理在数据库层面完成，效率更高，适合高并发、数据量大的场景。

内容的提问来源于stack exchange，提问作者freezthinker