如何在Spark的GCS连接器中指定存储桶存储类别？

这确实是个容易踩的坑——GCS连接器默认的桶创建规则确实会优先用US多区域，不过有几个简单的方法可以修改这个行为，我给你梳理一下：

方法1：提交Spark作业时临时指定配置 #

如果你只需要针对单个作业修改桶的属性，可以在提交作业时通过--conf参数传入Hadoop配置，直接指定区域和存储类别：

gcloud dataproc jobs submit pyspark your_spark_script.py \
    --cluster=your-europe-cluster-name \
    --region=europe-west1 \
    --conf spark.hadoop.fs.gs.create.bucket.location=eu \
    --conf spark.hadoop.fs.gs.create.bucket.storage.class=STANDARD

• fs.gs.create.bucket.location：可以填欧洲多区域代码eu，或者具体单区域比如europe-west1/europe-central2
• fs.gs.create.bucket.storage.class：可选值包括STANDARD、NEARLINE、COLDLINE、ARCHIVE，按需选择

方法2：配置Dataproc集群全局生效（永久） #

如果希望所有在这个集群上运行的Spark作业都默认用欧洲区域的桶，可以在创建集群时就配置这些属性，或者修改现有集群：

创建集群时配置 #

gcloud dataproc clusters create your-europe-cluster \
    --region=europe-west1 \
    --properties spark:spark.hadoop.fs.gs.create.bucket.location=eu,spark:spark.hadoop.fs.gs.create.bucket.storage.class=STANDARD

修改现有集群 #

gcloud dataproc clusters update your-europe-cluster \
    --region=europe-west1 \
    --update-properties spark:spark.hadoop.fs.gs.create.bucket.location=eu,spark:spark.hadoop.fs.gs.create.bucket.storage.class=STANDARD

方法3：在Spark代码中直接设置 #

如果你想在代码层面控制，也可以在初始化SparkSession时添加这些配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("EuropeBucketWriter") \
    .config("spark.hadoop.fs.gs.create.bucket.location", "eu") \
    .config("spark.hadoop.fs.gs.create.bucket.storage.class", "STANDARD") \
    .getOrCreate()

# 后续的write操作会自动用指定属性创建新桶
df.write.parquet("gs://your-new-eu-bucket/data-path").mode("overwrite")

注意事项 #

• 这些配置只对新创建的桶生效，如果桶已经存在，不会修改现有桶的区域或存储类别
• 区域参数优先选和你的Dataproc集群同区域的单区域（比如集群在europe-west1就填这个），可以减少跨区域数据传输的延迟和费用

内容的提问来源于stack exchange，提问作者Sarang Shinde