如何实现AWS Glue处理后数据成功写入Amazon DocumentDB
代码问题定位与可运行修复方案
现有代码的核心错误点
- 模板残留的无效写入逻辑:代码中通过
glueContext.write_dynamic_frame.from_catalog(...)实现的写入,实际是将数据回写到Glue Catalog登记的S3路径,与DocumentDB写入完全无关,属于代码模板的冗余内容,可直接删除。 - 语法运行错误:
DropFields.apply(...)方法调用缺少闭合右括号,代码在语法检查阶段就会失败,无法执行到写入步骤。 - DocumentDB连接配置缺失:现有写入参数未配置SSL校验相关选项,而DocumentDB集群默认强制开启TLS连接要求,缺少对应参数会直接被集群拒绝连接,报证书校验失败错误。
- 连接类型配置错误:代码中使用的
connection_type="documentdb"不是Glue支持的合法连接类型,Glue通过MongoDB兼容协议接入DocumentDB,合法的连接类型值为mongodb,错误值会导致连接器加载失败。 - 网络配置前置要求:Glue作业需要绑定与DocumentDB集群同VPC的子网,关联的安全组规则必须允许Glue节点通过TCP 27017端口访问DocumentDB集群,否则会出现连接超时类的写入失败。
修复后可直接运行的作业代码
import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NAME] args = getResolvedOptions(sys.argv, ['JOB_NAME']) sc = SparkContext() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext) job.init(args['JOB_NAME'], args) # DocumentDB写入必填配置 write_documentdb_options = { "uri": "mongodb://你的DocumentDB集群连接串", "database": "你的目标数据库名称", "collection": "你的目标集合名称", "username": "你的数据库账号", "password": "你的数据库密码", "ssl": "true", "ssl.domain_match": "false", "replaceDocuments": "true" } # 从Glue Catalog读取S3源数据 S3SourceData = glueContext.create_dynamic_frame.from_catalog( database = "my-project-data-database", table_name = "my-project-data-table" ) # 裁剪冗余字段 Transformed_Example = DropFields.apply( frame = S3SourceData, paths = ['需要丢弃的冗余字段1', '需要丢弃的冗余字段2'] ) # 写入DocumentDB glueContext.write_dynamic_frame.from_options( frame = Transformed_Example, connection_type="mongodb", connection_options=write_documentdb_options ) job.commit()
写入前的快速检查步骤
- 核对Glue作业的网络配置:将作业的网络属性绑定到DocumentDB所在VPC的私有子网,选择允许27017端口入站访问的安全组,不要使用公网直连配置。
- 小数据集验证:先配置10条以内的测试数据执行写入,根据Glue作业的运行日志定位具体报错:证书类报错补全SSL参数,连接超时类报错检查路由与安全组规则,类加载报错核对连接类型值。
- 避免参数重复:如果你的DocumentDB连接串中已经包含账号密码信息,就不需要在
connection_options中重复配置认证参数,否则会触发认证冲突。
内容的提问来源于stack exchange,提问作者KoalaKey
相关产品推荐
相关产品推荐

