从Dataproc集群访问Google Cloud Storage Bucket问题求助

先给你理清楚两个核心方向：优先用Dataproc原生的GCS访问方式（不用挂载），如果必须用gcsfuse挂载，再做持久化配置。

一、优先尝试：直接用GCS原生路径访问（推荐） #

你说文件已经设为公开但还是报“文件不存在”，大概率是路径写法不对。Dataproc的Spark、Hadoop等计算框架原生支持GCS路径，不需要挂载，直接用gs://你的桶名/文件路径就行，比如：

# Spark示例
df = spark.read.csv("gs://my-bucket/data.csv")

如果还是报错，检查这两点：

• 集群的默认服务账号有没有Storage Object Viewer权限：即使文件公开，集群服务账号需要有基本的GCS访问权限，去IAM里给对应的服务账号添加上这个角色试试。
• 确认路径拼写完全正确，包括桶名大小写（GCS桶名是大小写敏感的）、文件后缀。

二、如果必须用gcsfuse挂载（比如依赖本地路径的场景） #

你手动SSH挂载后退出就失效，是因为手动挂载只在当前会话生效，而且作业可能运行在其他Worker节点上。要让所有节点都持久化挂载，得把挂载逻辑写到初始化脚本里：

1. 修改你的初始化脚本，添加挂载步骤 #

在安装gcsfuse之后，加上这些命令：

# 创建挂载目录（所有节点都会执行）
mkdir -p /mnt/gcs-mount
# 挂载GCS桶，--implicit-dirs用来支持GCS的虚拟目录结构
gcsfuse --implicit-dirs your-bucket-name /mnt/gcs-mount
# 写入fstab，实现开机自动挂载（节点重启后也能自动挂载）
echo "your-bucket-name /mnt/gcs-mount gcsfuse rw,user,allow_other,implicit_dirs" >> /etc/fstab

2. 重新创建集群（或者给现有集群添加初始化脚本） #

用修改后的初始化脚本创建集群，这样所有Master和Worker节点都会自动挂载桶到/mnt/gcs-mount。

3. 验证挂载效果 #

SSH登录任意节点，执行ls /mnt/gcs-mount，确认能看到桶里的文件。之后作业里用本地路径/mnt/gcs-mount/你的文件访问即可。

常见坑点提醒 #

• 不要手动挂载：手动挂载只在当前SSH会话有效，作业进程和其他节点都看不到。
• 必须加--implicit-dirs：GCS是对象存储，没有真正的目录结构，这个参数能让gcsfuse模拟出目录，避免工具找不到子目录下的文件。
• 权限要到位：集群服务账号必须有Storage Object Viewer（读）或Storage Object Admin（读写）权限，gcsfuse依赖这些权限访问桶，哪怕文件公开也需要。

内容的提问来源于stack exchange，提问作者rajjo