AWS Glue自定义Salesforce JDBC驱动连接测试问题咨询

问题详情 #

配置参数 #

• JDBC URL:

  jdbc:cdata:salesforce:AuthScheme=Basic;User=my_sf_user;Password=my_sf_password;Security Token=my_sf_token;UseSandbox=true;
  

• JDBC驱动类:

  cdata.jdbc.salesforce.SalesforceDriver
  

• 驱动文件：CData Salesforce JDBC试用版JAR，已上传至S3存储桶

错误信息 #

Caused by: com.amazonaws.glue.jobexecutor.commands.exception.CommandExecutorException: com.amazonaws.services.glue.exceptions.InvalidInputException: Testing connections with custom drivers is not currently supported.

背景与已执行操作 #

目标是通过AWS Glue自定义JDBC连接将转换后的数据写入Salesforce对象，已完成以下操作：

• 在Glue控制台创建自定义连接
• 填写JDBC URL和驱动类信息
• 将驱动JAR上传至S3桶
• 执行连接测试时触发上述错误

解答 #

1. AWS Glue是否确实不支持自定义驱动的连接测试？ #

是的，AWS Glue当前不支持通过控制台测试自定义JDBC驱动的连接，仅对其预集成的主流数据库驱动（如MySQL、PostgreSQL、Redshift等）开放控制台测试功能，自定义驱动的测试无法通过控制台完成。

2. 测试连接的替代方案 #

• 编写极简Glue测试Job：创建一个简单的Glue ETL Job，在Job配置中指定S3上的驱动JAR路径，编写一段读取/写入Salesforce的极简代码（如写入一条测试记录），通过运行Job验证连接有效性。
• 本地环境验证：在本地使用相同的JDBC参数、驱动和凭证编写Java/Python代码，先确认驱动和配置本身无问题，再部署到Glue环境。
• Glue Studio数据预览：基于该自定义连接创建数据源或数据目标，尝试在Glue Studio中进行数据预览，间接验证连接是否正常（部分场景可绕过控制台测试限制）。

3. 解决建议 #

• 跳过控制台测试直接部署Job：由于控制台测试不支持自定义驱动，可直接创建Glue Job并配置好驱动路径、连接参数，通过Job运行结果验证连接和数据读写逻辑。
• 检查驱动权限与兼容性：确保Glue服务角色拥有读取S3驱动JAR的权限，同时确认驱动版本与Glue运行环境兼容（如Glue 4.0对应Java 11，需驱动支持该版本）。
• 优化连接配置：将敏感凭证（如密码、安全令牌）存储在Secrets Manager中，通过Glue连接参数引用，避免硬编码在JDBC URL中，提升安全性。
• 关注官方更新：定期查看AWS Glue官方文档，确认自定义驱动功能的更新，未来可能开放控制台测试支持。

内容的提问来源于stack exchange，提问作者user13399693