如何为PCF上的Spring Cloud Dataflow任务安全传递AWS凭证

针对你遇到的问题——既要自动化传递AWS凭证到PCF上的Spring Cloud Task，又不能让凭证暴露在日志或任务参数里，我推荐以下几个生产级的解决方案，按推荐优先级排序：

1. 使用PCF用户提供服务（User-Provided Service）+ SCDF服务绑定 #

这是最简单直接且符合PCF最佳实践的方案，核心思路是把AWS凭证存在PCF的服务实例中，让SCDF在启动任务时自动绑定该服务，PCF会安全地将凭证注入到任务实例的环境变量中，不会出现在任何日志或任务参数里。

具体步骤： #

• 创建存储AWS凭证的用户提供服务：
  用CF CLI在你的PCF空间里创建一个用户提供服务，把AWS凭证作为服务属性存入：

  cf create-user-provided-service aws-s3-credentials -p '{
    "AWS_ACCESS_KEY_ID": "your-access-key",
    "AWS_SECRET_ACCESS_KEY": "your-secret-key"
  }'
  

  注意：这里的键名要和Spring Cloud AWS默认读取的环境变量名一致，这样你的应用不需要额外配置就能自动拾取凭证。

• 在SCDF中配置任务绑定该服务：
  当你创建或启动Spring Cloud Task时，指定要绑定的服务实例。比如用SCDF DSL创建任务：

  task create my-batch-job-task --definition "my-batch-job-app --spring.cloud.task.platform.cloudfoundry.services=aws-s3-credentials"
  

  如果你用SCDF UI，在创建任务的"Cloud Foundry Platform"配置项里，找到"Services"字段，填入aws-s3-credentials即可。

• 验证应用自动读取凭证：
  Spring Cloud AWS Starter会自动读取环境变量中的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY，所以你的Batch作业不需要额外编写代码，就能直接访问S3存储桶。

优势： #

• 完全自动化，任务启动时自动注入凭证，无需手动干预
• 凭证不会出现在任务参数、SCDF任务历史或PCF应用日志中（PCF的VCAP_SERVICES环境变量不会被默认日志捕获）
• 符合PCF的安全模型，权限可控（只有绑定了该服务的任务才能访问凭证）

2. 全局配置SCDF Cloud Foundry任务平台的服务绑定 #

如果你的多个任务都需要使用同一个AWS凭证，可以在SCDF的配置中全局指定服务绑定，避免每个任务单独配置：

在SCDF服务器的application.yml中添加以下配置：

spring:
  cloud:
    dataflow:
      task:
        platform:
          cloudfoundry:
            accounts:
              your-pcf-account:
                # 其他PCF平台配置（org、space、api endpoint等）
                services: aws-s3-credentials

这样所有使用该PCF平台账号启动的任务，都会自动绑定aws-s3-credentials服务，凭证自动注入。

3. 结合Vault进行凭证管理（适合多环境/多凭证场景） #

如果你的团队已经在使用Vault管理秘密，这个方案可以实现更细粒度的凭证管控，同时保证所有秘密的安全传递：

具体步骤： #

• 在Vault中存储AWS凭证：
  将AWS凭证存入Vault的KV引擎，比如路径secret/my-batch-job/aws-s3，包含access_key_id和secret_access_key两个字段。

• 创建Vault连接的用户提供服务：
  在PCF中创建一个用户提供服务，存储Vault的连接信息（地址、token、KV引擎路径等）：

  cf create-user-provided-service vault-config -p '{
    "VAULT_ADDR": "https://your-vault-endpoint",
    "VAULT_TOKEN": "your-vault-token",
    "VAULT_KV_PATH": "secret/my-batch-job"
  }'
  

• 配置Spring应用读取Vault凭证：
  你的Spring Boot应用添加Spring Cloud Vault Starter依赖，在application.yml中配置：

  spring:
    cloud:
      vault:
        enabled: true
        uri: ${VAULT_ADDR}
        token: ${VAULT_TOKEN}
        kv:
          enabled: true
          backend: ${VAULT_KV_PATH}
  

  同时，让应用从Vault读取AWS凭证：

  cloud:
    aws:
      credentials:
        access-key: ${aws-s3.access_key_id}
        secret-key: ${aws-s3.secret_access_key}
  

• 在SCDF中绑定Vault服务到任务：
  和方案1一样，在任务定义中指定绑定vault-config服务，任务启动时PCF会注入Vault的连接信息，应用自动从Vault拉取AWS凭证。

优势： #

• 集中管理所有秘密，支持版本控制、权限管控
• AWS凭证不会出现在任何PCF环境变量或任务参数中，仅在应用运行时从Vault临时获取

关键避坑点 #

• 绝对不要把凭证作为任务参数或属性传递：不管是命令行参数还是SCDF的任务属性，这些都会被记录在SCDF的任务历史和PCF的应用启动日志中，完全暴露凭证。
• 不要手动设置环境变量：这种方式需要等待任务失败后再操作，无法自动化，且容易出错。
• 确保SCDF服务账号有足够权限：SCDF的PCF服务账号需要拥有space_developer角色，才能将服务绑定到任务实例。

内容的提问来源于stack exchange，提问作者Rick Suggs