如何配置Intake目录从本地凭证读取S3/MinIO远程访问密钥

可通过Intake原生的配置注入能力实现凭证与共享目录完全分离，无需修改现有用户本地JSON格式的密钥文件，以下是两种可直接落地的方案：

方案一：全局配置注入（推荐，维护成本最低） #

该方案下共享目录YAML完全不涉及任何凭证字段，所有凭证由用户本地Intake全局配置自动加载，一次配置后所有共享MinIO数据源可直接访问。

• 每个用户保留本地原有JSON密钥文件无需修改，在本地Intake配置路径（默认~/.intake/conf.yaml，文件不存在则新建）写入以下内容，将本地JSON凭证注册为全局S3存储配置：

# 用户本地私有配置，不纳入共享目录版本管理
storage_options:
  s3:
    !include "~/your_local_path/minio_creds.json" # 替换为本地JSON密钥的实际路径

• 共享目录YAML删除所有明文密钥字段，通过引用全局S3配置完成参数注入，最终可分发的目录文件内容如下：

sources:
  my_dataset:
    args:
      storage_options:
        s3: "global" # 自动拉取用户本地配置的S3/MinIO凭证
      urlpath: s3://bucket/path/to/file.netcdf
    description: 'my description'
    driver: intake_xarray.netcdf.NetCDFSource

用户加载该目录时，Intake会自动将本地JSON中存储的key、secret、endpoint_url合并到数据源参数中，全程不会把凭证写入共享文件。

方案二：YAML模板动态加载本地凭证 #

如果不希望修改用户全局Intake配置，可直接在共享YAML中使用Intake内置的Jinja2模板能力，动态读取约定路径下的用户本地JSON密钥：

sources:
  my_dataset:
    args:
      storage_options:
        # 约定所有用户将JSON密钥存放在该本地路径下
        {% load_json "~/.config/minio_creds.json" as minio_cred %}
        key: {{ minio_cred.key }}
        secret: {{ minio_cred.secret }}
        client_kwargs:
          endpoint_url: {{ minio_cred.client_kwargs.endpoint_url }}
      urlpath: s3://bucket/path/to/file.netcdf
    description: 'my description'
    driver: intake_xarray.netcdf.NetCDFSource

该方案同样不需要用户转换JSON密钥格式，渲染后的凭证仅在当前用户本地进程中生效，不会写入共享YAML文件。

避坑提示 #

不要直接把包含完整明文密钥的storage_options字典传入数据源构造函数后再调用.yaml()方法导出目录文件，该方法会全量序列化传入的所有参数，必然会将敏感信息写入导出的YAML。正确做法是先编写不含敏感字段的目录模板，通过配置注入的方式在运行时加载凭证。
如果团队所有用户访问的MinIO端点地址统一，也可以将endpoint_url直接写在共享YAML的公共配置中，仅将key和secret留作本地加载项，减少用户配置工作量。

内容的提问来源于stack exchange，提问作者Adrian