使用Arango-Spark连接器保存Spark DataFrame到ArangoDB时遇问题

我之前也碰到过类似的ArangoDB-Spark集成问题，这两个坑确实挺让人头疼的，咱们一步步来解决：

1. 自定义_key字段被忽略，自动生成随机键的问题 #

ArangoSpark Connector默认不会自动把DataFrame中的_key列映射为ArangoDB文档的主键，得在写入配置里明确指定才行：

• 指定主键映射列：在WriteOptions中通过withOption("key", "_key")告诉Connector，用DataFrame里的_key列作为ArangoDB文档的主键。
• 保证字段类型正确：ArangoDB的_key必须是字符串类型，所以要确保DataFrame里的_key列是StringType，如果是数字类型（比如Int），记得先做类型转换。

2. 顶点数据包含不必要的Schema信息的问题 #

这个问题是因为Connector默认会把Spark DataFrame的元数据（Schema信息）序列化到ArangoDB文档里，只需要在写入配置中关闭这个功能就能解决：

• 关闭元数据序列化：在WriteOptions中设置"serialize-metadata" -> "false"，这样多余的Schema信息就不会被写入文档了。

修改后的完整代码示例 #

import com.arangodb.spark.{ArangoSpark, WriteOptions}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{StringType, StructField, StructType}

object TestGraph extends App {
  println("Hello...")

  // 初始化SparkSession
  val spark = SparkSession.builder()
    .appName("ArangoDBTest")
    .master("local[*]") // 本地测试用，生产环境请移除
    .config("arangodb.host", "localhost")
    .config("arangodb.port", "8529")
    .config("arangodb.user", "root")
    .config("arangodb.password", "your_password") // 替换为你的ArangoDB密码
    .getOrCreate()

  import spark.implicits._

  // 示例DataFrame，包含自定义_key和业务字段
  val vertexData = Seq(
    ("user1", "Alice", 30),
    ("user2", "Bob", 25)
  ).toDF("_key", "name", "age")

  // 配置WriteOptions：指定主键列 + 关闭元数据序列化
  val writeOptions = new WriteOptions()
    .withOption("key", "_key") // 绑定DataFrame的_key到ArangoDB文档主键
    .withOption("serialize-metadata", "false") // 禁止写入Schema元数据

  // 保存到ArangoDB的目标集合（比如名为"users"的顶点集合）
  ArangoSpark.save(vertexData, "users", writeOptions)

  spark.stop()
}

额外注意事项 #

• 版本兼容性：要确保ArangoDB-Spark Connector的版本和你的Spark、ArangoDB版本匹配，比如Spark 3.x需要使用Connector 1.4及以上版本。
• 图集合写入：如果是保存到图的顶点集合，需要在WriteOptions中额外指定graph参数，比如.withOption("graph", "your_graph_name")，同时配合vertexCollection参数指定顶点集合名。
• 字段过滤：如果DataFrame本身有多余字段，也可以在写入前用select("_key", "name", "age")只保留需要的列，进一步减少冗余数据。

内容的提问来源于stack exchange，提问作者user9032958