如何通过Shell脚本向Spark作业传递hbase.rpc.timeout参数？

当然可以实现！通过Shell脚本传入参数到Spark作业，进而传递给HBaseConfiguration是非常常见的实践，下面给你分享几个靠谱的方案：

方案1：通过Spark --conf 参数传递（推荐） #

Spark的spark-submit支持通过--conf传递自定义配置项，这种方式最规范，而且在集群模式下能可靠传递参数，还能和Spark自身的配置体系兼容。

步骤： #

1. 在Shell脚本的spark-submit命令中添加自定义配置：

#!/bin/bash
# 定义要传入的HBase RPC超时时间，单位毫秒
HBASE_RPC_TIMEOUT="60000"
SPARK_SUBMIT_PATH="/path/to/spark-submit"

$SPARK_SUBMIT_PATH \
  --class com.your.package.YourSparkJob \
  --master yarn \
  --deploy-mode cluster \
  --conf spark.hbase.rpc.timeout=$HBASE_RPC_TIMEOUT \
  /path/to/your/spark-job.jar

2. 在Spark作业代码中读取该配置，再设置到HBaseConfiguration：

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.spark.sql.SparkSession

object YourSparkJob {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("HBaseIntegrationJob").getOrCreate()
    val sc = spark.sparkContext

    // 从Spark配置中读取参数，设置默认值（比如30000毫秒）
    val rpcTimeout = sc.getConf.get("spark.hbase.rpc.timeout", "30000")

    // 创建HBase配置并注入超时参数
    val hbaseConf = HBaseConfiguration.create()
    hbaseConf.set("hbase.rpc.timeout", rpcTimeout)

    // 后续的HBase操作逻辑...
    spark.stop()
  }
}

方案2：通过命令行参数直接传递 #

如果不想依赖Spark的配置体系，也可以把参数作为命令行参数直接传给作业Jar包。

步骤： #

1. Shell脚本中在Jar包后追加参数：

#!/bin/bash
HBASE_RPC_TIMEOUT="60000"
SPARK_SUBMIT_PATH="/path/to/spark-submit"

$SPARK_SUBMIT_PATH \
  --class com.your.package.YourSparkJob \
  --master yarn \
  --deploy-mode cluster \
  /path/to/your/spark-job.jar $HBASE_RPC_TIMEOUT

2. 代码中从args数组读取参数：

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.spark.sql.SparkSession

object YourSparkJob {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("HBaseIntegrationJob").getOrCreate()

    // 读取命令行参数，没有则用默认值
    val rpcTimeout = args.headOption.getOrElse("30000")

    val hbaseConf = HBaseConfiguration.create()
    hbaseConf.set("hbase.rpc.timeout", rpcTimeout)

    // 业务逻辑...
    spark.stop()
  }
}

方案3：通过环境变量传递 #

还可以把参数设置为系统环境变量，在作业代码中读取环境变量值。

步骤： #

1. Shell脚本中导出环境变量：

#!/bin/bash
export HBASE_RPC_TIMEOUT="60000"
SPARK_SUBMIT_PATH="/path/to/spark-submit"

$SPARK_SUBMIT_PATH \
  --class com.your.package.YourSparkJob \
  --master yarn \
  --deploy-mode cluster \
  /path/to/your/spark-job.jar

2. 代码中读取环境变量：

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.spark.sql.SparkSession

object YourSparkJob {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder.appName("HBaseIntegrationJob").getOrCreate()

    // 读取环境变量，默认值兜底
    val rpcTimeout = sys.env.getOrElse("HBASE_RPC_TIMEOUT", "30000")

    val hbaseConf = HBaseConfiguration.create()
    hbaseConf.set("hbase.rpc.timeout", rpcTimeout)

    // 业务逻辑...
    spark.stop()
  }
}

小建议 #

如果是配置类参数，优先选方案1，因为Spark的--conf机制在集群模式下（比如Yarn）能保证参数被正确传递到所有Executor节点；如果是一次性的业务参数，可以用方案2。

内容的提问来源于stack exchange，提问作者Neethu Lalitha