Dataproc集群创建时无法正确向初始化脚本传递元数据参数的问题求助

我完全理解你现在的困扰——想在创建Dataproc集群时给初始化脚本传递自定义参数，用了--metadata选项但脚本里死活拿不到值，不管是直接引用变量还是试位置参数都不行，确实挺让人挠头的。

问题根源 #

你之前的两种尝试都不生效，是因为Dataproc的--metadata参数不会直接把变量注入到初始化脚本的环境中，也不会作为位置参数（比如$1）传递给脚本。这些元数据是存在Google的元数据服务器里的，需要用特定方式读取。

正确的参数读取方法 #

在你的初始化脚本init_script.sh里，有两种简单可靠的方式获取你传递的bucket_param值：

方法1：使用Dataproc预装的工具（推荐）

Dataproc集群默认预装了get_metadata_value工具，专门用来读取元数据，用法非常简洁：

# 读取自定义元数据参数
bucket_param=$(/usr/share/google/get_metadata_value attributes/bucket_param)
echo "成功获取到bucket_param的值：$bucket_param"

方法2：通过curl访问元数据服务器

如果不想用工具，也可以直接用curl请求元数据服务器，记得要带上Metadata-Flavor: Google的请求头：

# 读取自定义元数据参数
bucket_param=$(curl -s -H "Metadata-Flavor: Google" http://metadata.google.internal/computeMetadata/v1/instance/attributes/bucket_param)
echo "成功获取到bucket_param的值：$bucket_param"

额外注意事项 #

• 确保你的初始化脚本有执行权限，可以用这条命令设置：

  gsutil chmod +x gs://bucket/folder/init_script.sh
  

• 保持你创建集群的命令不变，--metadata bucket_param="my_value"的写法是正确的。

这样修改后，你的脚本就能正常拿到传递的参数，后续步骤也就不会因为参数为空而失败啦。

备注：内容来源于stack exchange，提问作者Harikrishnan Balachandran