使用Spark SQL向MariaDB插入数据时遭遇语法错误求助

错误提示中的SQL语句用双引号包裹字段名（"name","age"），但MariaDB默认SQL模式下，双引号会被识别为字符串常量而非标识符（列名/表名），这直接导致了语法错误。Spark JDBC写入操作默认生成的SQL使用双引号引用字段名，与MariaDB的默认配置产生冲突。

以下是几种可行的解决方式，按优先级推荐：

方法1：在JDBC连接URL中临时开启ANSI_QUOTES模式 #

修改你的jdbc_url，添加会话变量参数，让连接MariaDB时临时启用ANSI_QUOTES模式（该模式下双引号会被识别为标识符）：

jdbc_url = "jdbc:mariadb://<你的MariaDB地址>:<端口>/<数据库名>?sessionVariables=sql_mode='ANSI_QUOTES'"

方法2：修改MariaDB的全局SQL模式（持久化生效） #

如果需要让所有连接都适配该语法，可以修改MariaDB的配置：

• 在MariaDB配置文件（如my.cnf）中添加：

[mysqld]
sql_mode=ANSI_QUOTES

• 在Minikube环境中，可通过更新MariaDB的Deployment配置实现：挂载包含上述配置的ConfigMap，或直接设置环境变量：

env:
  - name: MYSQL_SQL_MODE
    value: "ANSI_QUOTES"

修改后重启MariaDB Pod即可生效。

方法3：指定Spark JDBC方言（适配Spark版本） #

如果使用的Spark版本支持，可在SparkSession配置中指定MySQL/MariaDB方言，确保生成的SQL符合MariaDB语法规范：

spark = (SparkSession
   .builder   
   .appName("Beispiel")
   .config("spark.jars", "/app/mariadb-java-client-3.2.0.jar")
   .config("spark.sql.legacy.createHiveTableByDefault", "false")
   .config("spark.sql.jdbc.dialect", "mysql")  # 添加该配置
   .getOrCreate())

修改后重新运行插入代码，即可正常写入数据到mitglieder表。也可手动执行以下SQL测试模式是否生效：

INSERT INTO mitglieder ("name", "age") VALUES ('Test', 20);

若执行成功，说明模式配置正确。

内容的提问来源于stack exchange，提问作者Patrik Reichelt