Dagster 1.11.6版本verify参数不支持自定义SSL CA证书路径解决方案咨询

以下是几个可行的解决方案：

方案1：自定义S3资源，直接控制boto3客户端参数 #

内置的S3Resource限制了verify参数的类型，但你可以自己实现一个自定义资源，绕过这个限制，直接给boto3客户端传入CA证书路径：

from dagster import resource
import boto3

@resource(config_schema={"aws_access_key_id": str, "aws_secret_access_key": str, "ca_cert_path": str})
def custom_s3_resource(context):
    # 初始化boto3客户端时直接指定verify为证书路径
    s3_client = boto3.client(
        "s3",
        aws_access_key_id=context.resource_config["aws_access_key_id"],
        aws_secret_access_key=context.resource_config["aws_secret_access_key"],
        verify=context.resource_config["ca_cert_path"]
    )
    return s3_client

# 在job中使用自定义资源
from dagster import job, op

@op(required_resource_keys={"custom_s3"})
def list_buckets_op(context):
    buckets = context.resources.custom_s3.list_buckets()
    context.log.info(f"Found buckets: {[b['Name'] for b in buckets['Buckets']]}")

@job(resource_defs={"custom_s3": custom_s3_resource})
def my_s3_job():
    list_buckets_op()

使用时在Dagster的配置文件中指定证书路径：

resources:
  custom_s3:
    config:
      aws_access_key_id: "your-access-key"
      aws_secret_access_key: "your-secret-key"
      ca_cert_path: "/path/to/your/ca.crt"

方案2：通过环境变量让boto3自动加载CA证书 #

boto3和botocore会自动读取AWS_CA_BUNDLE环境变量，将其作为SSL证书的路径。这种方式不需要修改代码，直接在运行Dagster的环境中设置变量即可：

临时生效（终端启动Dagster时） #

export AWS_CA_BUNDLE="/path/to/your/ca.crt"
dagster dev

永久生效（Linux系统） #

将环境变量添加到~/.bashrc或/etc/profile中：

echo 'export AWS_CA_BUNDLE="/path/to/your/ca.crt"' >> ~/.bashrc
source ~/.bashrc

在Dagster部署配置中设置（比如Docker/Kubernetes） #

如果用Docker部署，可以在Dockerfile中添加：

ENV AWS_CA_BUNDLE="/path/to/your/ca.crt"

或者在docker-compose.yml的环境变量部分设置：

services:
  dagster:
    environment:
      - AWS_CA_BUNDLE=/path/to/your/ca.crt

设置完成后，内置的S3Resource会自动使用这个证书路径，无需修改原有代码。

方案3：修改Dagster S3Resource源码（不推荐） #

如果你有能力修改Dagster的源码，可以调整S3Resource的参数验证逻辑，允许verify参数接受字符串路径。找到Dagster的s3_resource.py文件，修改config_schema中verify的类型，从bool改为Union[bool, str]，然后重新安装Dagster。不过这个方法会导致后续版本升级时需要重新修改，维护成本高，仅作为临时应急方案。

内容的提问来源于stack exchange，提问作者Shital