如何通过Spark/Python将API数据写入MongoDB数据库？

完全可以通过Spark实现将API数据写入MongoDB的操作，以下是针对你现有场景的具体解决步骤：

1. 引入Spark-MongoDB连接器依赖 #

启动PySpark时必须指定对应版本的MongoDB连接器包，以Spark 3.x版本为例：

pyspark --packages org.mongodb.spark:mongo-spark-connector_2.12:10.2.1

如果是在代码中初始化SparkSession，也可以直接配置依赖：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("APItoMongoDB") \
    .config("spark.jars.packages", "org.mongodb.spark:mongo-spark-connector_2.12:10.2.1") \
    .getOrCreate()

注意：连接器版本必须和你的Spark、MongoDB版本匹配，比如Spark 3.3对应连接器10.x系列。

2. 配置MongoDB写入参数 #

假设你已经通过API获取到了DataFrame（比如命名为player_df），直接用Spark的Write API写入MongoDB：

# 替换为你的MongoDB实际配置
mongo_uri = "mongodb://localhost:27017/"  # 带认证的格式为 mongodb://用户名:密码@主机:端口/
target_db = "your_database_name"
target_collection = "players"

# 执行写入
player_df.write \
    .format("mongodb") \
    .option("uri", mongo_uri) \
    .option("database", target_db) \
    .option("collection", target_collection) \
    .mode("append")  # 可选overwrite/ignore，根据需求选择写入模式
    .save()

3. 常见问题排查 #

• 依赖不兼容：若启动时报找不到类的错误，检查连接器版本和Spark版本的对应关系，参考官方版本匹配表。
• 连接失败：确认MongoDB服务正常运行，URI格式正确；开启认证的话，必须在URI中携带正确的用户名和密码。
• 数据结构异常：如果API返回的嵌套JSON写入后出现格式问题，可以先用select或withColumn调整DataFrame字段结构，确保数据类型符合MongoDB存储要求。

内容的提问来源于stack exchange，提问作者Nicholas Nguyen