能否从EMR引导脚本内部获取其存储路径？

嘿，这个需求我太懂了——不想改引导脚本的调用方式，又要让它能自动找到同S3路径下的其他文件，完全没必要传参数！给你分享两个可行的方案，亲测好用：

方案1：利用EMR实例元数据+API自动获取脚本所在S3前缀 #

这个方案不需要修改任何调用方式，只需要确保EMR实例有足够的IAM权限：

• 第一步，在脚本里获取当前实例所属的EMR集群ID：

# 获取当前EC2实例的ID
INSTANCE_ID=$(curl -s http://169.254.169.254/latest/meta-data/instance-id)
# 通过EC2标签获取集群ID
CLUSTER_ID=$(aws ec2 describe-tags --filters "Name=resource-id,Values=$INSTANCE_ID" "Name=key,Values=aws:elasticmapreduce:cluster-id" --query 'Tags[0].Value' --output text)

• 第二步，根据集群ID获取引导脚本的S3路径：

# 获取第一个引导脚本的S3路径（如果有多个，调整索引即可）
BOOTSTRAP_S3_PATH=$(aws emr describe-cluster --cluster-id $CLUSTER_ID --query 'Cluster.BootstrapActions[0].ScriptPath' --output text)

• 第三步，提取脚本所在的S3前缀：

S3_PREFIX=$(dirname "$BOOTSTRAP_S3_PATH")

• 最后，下载同路径下的目标文件：

# 下载单个文件示例
aws s3 cp "$S3_PREFIX/your-other-file.txt" /opt/your-local-dir/

# 同步整个目录（排除脚本自身）示例
aws s3 sync "$S3_PREFIX/" /opt/your-local-dir/ --exclude "bootstrap.sh"

注意事项 #

• 需给EMR实例的IAM角色添加AmazonEC2ReadOnlyAccess和AmazonEMRReadOnlyAccess权限，确保能调用EC2和EMR的API。
• 如果集群配置了多个引导脚本，记得调整BootstrapActions[0]中的索引，匹配你的目标脚本位置。

方案2：利用脚本名称约定快速定位（简单但灵活性有限） #

如果你的引导脚本名称固定为bootstrap.sh，且能确保S3路径范围内只有这一个同名脚本，可以直接用aws s3 find定位自身路径：

# 查找目标bootstrap.sh的S3路径（需指定根范围）
BOOTSTRAP_S3_PATH=$(aws s3 find s3://path/to/your/root/ --name "bootstrap.sh" --output text)
S3_PREFIX=$(dirname "$BOOTSTRAP_S3_PATH")

这个方法无需额外IAM权限，但如果存在多个同名脚本，可能会获取错误路径，适合路径结构简单的场景。

个人更推荐方案1，稳定可靠，完全不需要改变脚本的调用方式，只要配置好IAM权限就能正常工作。

内容的提问来源于stack exchange，提问作者satellite9