如何在多实例AWS ECS任务中获取自身唯一标识以处理S3文件？

一、在Docker容器内获取ECS任务唯一标识（Task ARN） #

最便捷的方式是利用ECS任务元数据服务，无需额外AWS CLI权限或配置：

• 执行以下命令直接提取Task ARN：

  TASK_ARN=$(curl -s http://169.254.170.2/v2/metadata | jq -r '.TaskARN')
  

  注：该元数据端点对ECS Fargate和EC2启动类型的任务均有效（EC2启动类型需在任务定义中启用元数据服务）。

如果必须使用AWS CLI，需确保任务执行角色拥有ecs:DescribeTasks权限，先通过元数据获取任务ID再查询ARN：

TASK_ID=$(curl -s http://169.254.170.2/v2/metadata | jq -r '.TaskId')
TASK_ARN=$(aws ecs describe-tasks --cluster <你的ECS集群名> --tasks $TASK_ID | jq -r '.tasks[0].taskArn')

二、用Task ARN标记文件避免重复处理 #

通过给S3文件添加专属标签的方式，实现任务间的互斥处理，步骤如下：

1. 预检查并添加处理中标签
   在处理文件前，先检查文件是否已有ProcessingTaskARN标签，若没有则添加当前任务的ARN，确保操作原子性：

   FILE_KEY="待处理文件的S3路径"
   BUCKET_NAME="你的存储桶名"
   
   # 获取文件当前标签和ETag（用于乐观锁）
   CURRENT_TAGS=$(aws s3api get-object-tagging --bucket $BUCKET_NAME --key $FILE_KEY 2>/dev/null || echo '{"TagSet": []}')
   HAS_PROCESS_TAG=$(echo $CURRENT_TAGS | jq -r '.TagSet[] | select(.Key == "ProcessingTaskARN") | .Value')
   E_TAG=$(aws s3api head-object --bucket $BUCKET_NAME --key $FILE_KEY | jq -r '.ETag')
   
   # 如果没有处理标签，尝试添加当前任务ARN
   if [ -z "$HAS_PROCESS_TAG" ]; then
     aws s3api put-object-tagging \
       --bucket $BUCKET_NAME \
       --key $FILE_KEY \
       --tagging 'TagSet=[{Key=ProcessingTaskARN,Value='$TASK_ARN'}]' \
       --if-match $E_TAG
   
     # 检查标签是否添加成功
     if [ $? -eq 0 ]; then
       echo "文件已锁定，开始处理"
       # 执行下载、SQL Loader加载逻辑
       PROCESS_SUCCESS=true # 替换为实际处理结果标记
       if $PROCESS_SUCCESS; then
         # 处理成功：删除文件
         aws s3 rm s3://$BUCKET_NAME/$FILE_KEY
       else
         # 处理失败：移至bad目录并保留标签
         aws s3 mv s3://$BUCKET_NAME/$FILE_KEY s3://$BUCKET_NAME/bad/$FILE_KEY
       fi
     else
       echo "文件已被其他任务锁定，跳过处理"
       exit 0
     fi
   else
     echo "文件正在被任务$HAS_PROCESS_TAG处理，跳过"
     exit 0
   fi
   

2. 异常处理与标签清理
   若任务意外终止（如OOM、超时），文件上的ProcessingTaskARN标签会残留，导致后续任务无法处理。可通过以下方式解决：

   • 配置CloudWatch Events触发Lambda函数，定期扫描存储桶中带有ProcessingTaskARN标签的文件，查询对应ECS任务状态：

     # Lambda中执行示例（Shell）
     TASK_STATUS=$(aws ecs describe-tasks --cluster <集群名> --tasks <从标签提取的任务ID> | jq -r '.tasks[0].lastStatus')
     

   • 若任务状态为STOPPED或DEPROVISIONING，则移除文件的ProcessingTaskARN标签，允许重新被处理。

三、权限配置要求 #

确保ECS任务执行角色拥有以下权限：

• s3:GetObjectTagging：读取文件标签
• s3:PutObjectTagging：添加/修改文件标签
• s3:DeleteObject：删除处理成功的文件
• s3:CopyObject/s3:PutObject：移动失败文件至bad目录
• （若使用AWS CLI查询任务）ecs:DescribeTasks：获取任务ARN

内容的提问来源于stack exchange，提问作者garbuya