如何使用认证密钥操作gsutil？Airflow DAG中GCS拷贝命令优化咨询

一、合并两条命令的两种方式 #

如果不想分两次执行命令，有两种直接的实现方式：

1. 命令串联执行 #

通过&&将两条命令绑定，前一条执行成功后自动运行后一条：

gcloud auth activate-service-account --key-file=/path/to/your-service-account-key.json && gsutil cp /local/data/file.csv gs://your-gcs-bucket/target/path/

2. 直接在gsutil命令中指定密钥（推荐） #

Gsutil本身支持通过参数直接指定服务账号密钥，无需提前激活账号，单次执行更简洁：

gsutil -o "Credentials:gs_service_key_file=/path/to/your-service-account-key.json" cp /local/data/file.csv gs://your-gcs-bucket/target/path/

二、设置默认认证跳过激活步骤 #

如果你的Airflow worker环境需要频繁执行GCP相关命令，可以配置默认认证，永久跳过gcloud auth activate-service-account步骤：

• 步骤1：放置密钥文件
  将服务账号的JSON密钥文件放在Airflow worker可访问的固定路径，比如/opt/airflow/secrets/gcp-service-account-key.json

• 步骤2：配置环境变量
  在Airflow worker的环境中设置GOOGLE_APPLICATION_CREDENTIALS环境变量，指向密钥文件路径：

  export GOOGLE_APPLICATION_CREDENTIALS="/opt/airflow/secrets/gcp-service-account-key.json"
  

  若要长期生效，可将该命令添加到Airflow worker的系统配置文件（比如/etc/profile.d/airflow-gcp.sh），或在Airflow的airflow.cfg中通过env参数配置该变量。

• 步骤3：验证
  直接执行gsutil cp命令即可，系统会自动读取环境变量指定的密钥完成认证：

  gsutil cp /local/data/file.csv gs://your-gcs-bucket/target/path/
  

额外建议（Airflow场景） #

在Airflow中，更推荐使用官方提供的GCP算子（比如LocalFilesystemToGCSOperator）完成文件上传，这类算子内置了GCP认证逻辑，无需手动调用shell命令，还能更好地集成Airflow的日志、重试和任务状态跟踪功能。

内容的提问来源于stack exchange，提问作者Albert