You need to enable JavaScript to run this app. 如何实现AWS Glue处理后数据成功写入Amazon DocumentDB
优惠活动
大模型
产品
解决方案
定价
更多

如何实现AWS Glue处理后数据成功写入Amazon DocumentDB

代码问题定位与可运行修复方案

现有代码的核心错误点

  • 模板残留的无效写入逻辑:代码中通过glueContext.write_dynamic_frame.from_catalog(...)实现的写入,实际是将数据回写到Glue Catalog登记的S3路径,与DocumentDB写入完全无关,属于代码模板的冗余内容,可直接删除。
  • 语法运行错误:DropFields.apply(...)方法调用缺少闭合右括号,代码在语法检查阶段就会失败,无法执行到写入步骤。
  • DocumentDB连接配置缺失:现有写入参数未配置SSL校验相关选项,而DocumentDB集群默认强制开启TLS连接要求,缺少对应参数会直接被集群拒绝连接,报证书校验失败错误。
  • 连接类型配置错误:代码中使用的connection_type="documentdb"不是Glue支持的合法连接类型,Glue通过MongoDB兼容协议接入DocumentDB,合法的连接类型值为mongodb,错误值会导致连接器加载失败。
  • 网络配置前置要求:Glue作业需要绑定与DocumentDB集群同VPC的子网,关联的安全组规则必须允许Glue节点通过TCP 27017端口访问DocumentDB集群,否则会出现连接超时类的写入失败。

修复后可直接运行的作业代码

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# DocumentDB写入必填配置
write_documentdb_options = {
    "uri": "mongodb://你的DocumentDB集群连接串",
    "database": "你的目标数据库名称",
    "collection": "你的目标集合名称",
    "username": "你的数据库账号",
    "password": "你的数据库密码",
    "ssl": "true",
    "ssl.domain_match": "false",
    "replaceDocuments": "true"
}

# 从Glue Catalog读取S3源数据
S3SourceData = glueContext.create_dynamic_frame.from_catalog(
    database = "my-project-data-database", 
    table_name = "my-project-data-table"
)

# 裁剪冗余字段
Transformed_Example = DropFields.apply(
    frame = S3SourceData, 
    paths = ['需要丢弃的冗余字段1', '需要丢弃的冗余字段2']
)

# 写入DocumentDB
glueContext.write_dynamic_frame.from_options(
    frame = Transformed_Example,
    connection_type="mongodb",
    connection_options=write_documentdb_options
)

job.commit()

写入前的快速检查步骤

  • 核对Glue作业的网络配置:将作业的网络属性绑定到DocumentDB所在VPC的私有子网,选择允许27017端口入站访问的安全组,不要使用公网直连配置。
  • 小数据集验证:先配置10条以内的测试数据执行写入,根据Glue作业的运行日志定位具体报错:证书类报错补全SSL参数,连接超时类报错检查路由与安全组规则,类加载报错核对连接类型值。
  • 避免参数重复:如果你的DocumentDB连接串中已经包含账号密码信息,就不需要在connection_options中重复配置认证参数,否则会触发认证冲突。

内容的提问来源于stack exchange,提问作者KoalaKey

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.14 11:06:04