如何通过JDBC驱动将PySpark DataFrame保存到Apache Ignite？主键报错求解

问题原因 #

你使用的primaryKeyFields是Spark JDBC API针对部分数据库的扩展参数，但Apache Ignite的JDBC Thin驱动并不识别这个参数，因此Spark自动生成CREATE TABLE语句时，Ignite无法获取主键定义，导致报错。

解决方案 #

方案1：通过createTableOptions指定主键 #

在Spark写数据时，通过createTableOptions选项直接追加主键约束的SQL片段，让Ignite创建表时明确主键：

from datetime import datetime, date
import pandas as pd
from pyspark.sql import Row

df = spark.createDataFrame([
    Row(a=1, b=2., c='string1', d=date(2000, 1, 1), e=datetime(2000, 1, 1, 12, 0)),
    Row(a=2, b=3., c='string2', d=date(2000, 2, 1), e=datetime(2000, 1, 2, 12, 0)),
    Row(a=4, b=5., c='string3', d=date(2000, 3, 1), e=datetime(2000, 1, 3, 12, 0))
])

# 关键：添加createTableOptions指定主键
df.write \
    .option("driver", "org.apache.ignite.IgniteJdbcThinDriver") \
    .option("createTableOptions", "PRIMARY KEY (a)") \
    .jdbc(url="jdbc:ignite:thin://172.19.0.1:10800", table="foo_table", mode="overwrite")

方案2：预先手动创建Ignite表 #

如果需要更灵活的表结构配置（比如分区模板、索引等），可以先在Ignite中手动建表，再让Spark写入数据：

1. 用Ignite的SQL客户端（如sqlline.sh）执行建表语句：

CREATE TABLE foo_table (
    a INT PRIMARY KEY,
    b DOUBLE,
    c VARCHAR,
    d DATE,
    e TIMESTAMP
) WITH "template=partitioned";

2. 修改Spark代码，直接写入已存在的表：

df.write \
    .option("driver", "org.apache.ignite.IgniteJdbcThinDriver") \
    .jdbc(url="jdbc:ignite:thin://172.19.0.1:10800", table="foo_table", mode="overwrite")

注意：如果使用overwrite模式，Spark会尝试删除原表重建，此时仍需搭配createTableOptions；若想保留预先创建的表结构，建议使用append模式。

内容的提问来源于stack exchange，提问作者Felix