如何在AWS ECS任务内部完成AWS CLI的安装操作

现有运行基础 #

• 服务基于官方镜像docker.elastic.co/logstash/logstash:7.10.2通过Docker容器运行，因S3写入需求强依赖容器内安装的AWS CLI，缺少该组件会直接启动崩溃
• 原Docker稳定运行流程包含三个核心环节：
  • 自定义带120秒延迟逻辑的启动入口，避免Logstash提前启动崩溃
  • 启动时挂载pipeline配置、主配置文件卷，指定自定义入口启动容器
  • 容器启动后通过docker exec进入容器手动安装AWS CLI、配置凭证

ECS适配要求 #

• AWS CLI安装、配置全流程在ECS任务容器内部完成，无需登录ECS集群的托管EC2宿主机手动操作
• 不自行构建集成AWS CLI的自定义Logstash镜像，避免长期版本迭代的维护成本
• 不采用同任务双容器共享AWS CLI能力的方案（已验证该方案不可行）
• AWS身份配置通过ECS任务参数注入，替代原手动执行aws configure的操作

落地实现 #

将原依赖docker exec手动完成的AWS CLI安装、配置环节，全部集成到自定义启动入口脚本中，在容器启动阶段自动执行，完全复刻原纯Docker环境的运行效果。

改造后的自定义入口脚本 #

原脚本仅实现启动延迟等待、Logstash启动逻辑，补充权限自动切换、AWS CLI安装、凭证配置的全流程后内容为：

#!/bin/bash
set -e

# 自动切换root权限执行安装操作，适配Logstash镜像默认非root运行的权限限制
if [ "$(id -u)" -ne 0 ]; then
    exec su -c "$0 $@"
fi

# 保留原120秒启动延迟逻辑，保障运行稳定性
sleep 120

# 无交互安装AWS CLI组件，与原手动安装的包名、命令保持一致
yum install -y awscli

# 读取ECS任务注入的环境变量，完成AWS CLI基础配置
aws configure set aws_access_key_id ${AWS_ACCESS_KEY_ID}
aws configure set aws_secret_access_key ${AWS_SECRET_ACCESS_KEY}
aws configure set region ${AWS_REGION}

# 安装配置完成后，正常启动Logstash服务
if [[ -z $1 ]] || [[ ${1:0:1} == '-' ]] ; then
  exec gosu logstash logstash "$@"
else
  exec "$@"
fi

ECS任务定义匹配调整 #

• 入口配置：将容器的entrypoint参数配置为容器内自定义脚本的绝对路径，与原Docker启动命令的--entrypoint逻辑完全对齐
• 卷映射配置：与原Docker运行的卷映射逻辑保持一致
  • 自定义入口脚本映射到容器内/usr/local/bin/psifas_logstash_docker-entrypoint，并配置可执行权限
  • Logstash pipeline配置映射到容器内/usr/share/logstash/pipeline/logstash.conf
  • Logstash主配置映射到容器内/usr/share/logstash/config/logstash.yml
• 环境变量配置：将AWS访问密钥、私有密钥、区域值通过ECS任务的环境变量参数注入，支持对接加密配置存储避免明文泄露，供入口脚本读取完成AWS CLI初始化

运行效果对齐验证 #

• 全程基于官方Logstash镜像运行，所有运行时依赖在容器启动阶段动态安装，后续Logstash版本迭代只需替换镜像标签即可，无自定义镜像长期维护成本
• 所有安装、配置流程完全在Logstash所属容器内执行，不存在跨容器共享能力不通的问题
• 保留原120秒启动延迟的稳定性保障，与已验证的纯Docker环境运行效果完全一致

内容的提问来源于stack exchange，提问作者Liav