Dataproc运行Sqoop作业连接外部PostgreSQL找不到SSL证书如何解决

你当前的配置直接填写了证书的相对路径，PostgreSQL JDBC驱动会在作业运行的YARN容器本地工作目录查找对应文件，而你未提前将证书分发到容器运行环境，因此会触发找不到文件的报错。

有两种常用方案可以解决这个问题：

方案1：通过Sqoop缓存文件分发（单次作业优先推荐） #

无需修改集群配置，灵活适配单次作业场景，操作步骤如下：

1. 将三个证书/密钥文件上传到HDFS路径，例如hdfs:///tmp/pg_certs/，上传命令如下：

hdfs dfs -mkdir -p /tmp/pg_certs
hdfs dfs -put root.crt postgresql.crt postgresql.key.der /tmp/pg_certs/

2. 在Sqoop导入命令中添加--cache-file参数，YARN会自动将HDFS上的证书分发到每个作业容器的工作目录，你可以继续使用相对路径配置JDBC连接。修改后的完整命令示例：

import
-Dmapreduce.job.user.classpath.first=true
-Dhadoop.security.credential.provider.path=jceks://hdfs/secrets/prod/db.jceks
--cache-file hdfs:///tmp/pg_certs/root.crt#root.crt
--cache-file hdfs:///tmp/pg_certs/postgresql.crt#postgresql.crt
--cache-file hdfs:///tmp/pg_certs/postgresql.key.der#postgresql.key.der
--connect=jdbc:postgresql://xxx.x.x/DBNAME?sslrootcert=root.crt&sslcert=postgresql.crt&sslkey=postgresql.key.der
--username=user1
--table=db1
--target-dir=gs://bucket
--delete-target-dir
--as-avrodatafile
--password-alias=password

如果你的密钥设置了访问密码，还需要在JDBC URL末尾追加&sslpassword=你的密钥密码参数。

方案2：集群初始化预存证书（适合高频使用场景） #

如果集群内多个作业都需要用到这组证书，可以通过Dataproc初始化行动将证书预置到所有节点的固定本地路径：

1. 编写初始化脚本，将证书下载到所有节点的`/opt/pg_certs/目录，同时设置正确权限：

#!/bin/bash
mkdir -p /opt/pg_certs
# 这里替换为你存储证书的GCS路径，将证书下载到本地
gsutil cp gs://你的证书存储bucket/* /opt/pg_certs/
chmod 644 /opt/pg_certs/root.crt /opt/pg_certs/postgresql.crt
# 密钥需要设置最小权限，避免泄露风险
chmod 600 /opt/pg_certs/postgresql.key.der
chown -R root:root /opt/pg_certs/*

2. 创建集群时指定该初始化脚本，集群所有节点都预置好证书后，你可以直接在JDBC URL中填写绝对路径：

--connect=jdbc:postgresql://xxx.x.x/DBNAME?sslrootcert=/opt/pg_certs/root.crt&sslcert=/opt/pg_certs/postgresql.crt&sslkey=/opt/pg_certs/postgresql.key.der

• PostgreSQL JDBC驱动原生支持DER格式的密钥文件，无需额外转换，若加载失败可确认密钥格式是否正确
• 密钥文件权限必须严格控制，若权限过宽驱动会主动拒绝加载证书

内容的提问来源于stack exchange，提问作者vamper1234