从ini文件读取Spark配置触发警告，直接传参正常的问题排查

1. 为何从ini读取参数会触发该警告？ #

最常见的原因是shell脚本传递参数时没有正确拆分独立参数：

• 直接执行spark-submit时，你输入的--conf spark.executor.memory=4g --conf spark.driver.memory=2g会被shell拆分成多个独立参数（--conf、spark.executor.memory=4g、--conf、spark.driver.memory=2g）传给Spark。
• 但如果脚本中直接用spark-submit "$conf_args"这种方式传递，shell会把conf_args的整个字符串当成单个参数传给Spark。此时Spark会把这个完整字符串误认为是某个--conf的键值对（比如把整个"--conf spark.executor.memory=4g --conf spark.driver.memory=2g"当成一个配置项的键），自然识别为非Spark配置属性，触发警告。

另外也可能是ini解析时引入了多余的引号、转义字符，导致参数格式被破坏，Spark无法正确识别。

2. 是否需要修改ini中conf_args的定义方式？ #

分两种情况：

• 如果想保持现有写法（直接写带--conf前缀的完整参数串）：不需要修改ini格式，只要调整脚本的参数传递逻辑即可。
• 如果想更规范、避免参数拆分问题：可以修改ini的定义方式，把每个Spark配置单独定义：

  [spark]
  spark.executor.memory=4g
  spark.driver.memory=2g
  spark.sql.shuffle.partitions=200
  

  这种方式更清晰，也能避免多参数拼接时的格式问题。

3. spark-submit函数实现需做哪些调整？ #

核心是让shell正确拆分参数为独立的个体，推荐两种可靠方案：

方案1：用数组存储并传递参数 #

在source_cmds.sh解析ini后，将conf_args转换为bash数组：

# 假设从ini中读取到conf_args="--conf spark.executor.memory=4g --conf spark.driver.memory=2g"
conf_args_array=($conf_args)

然后在封装的spark-submit函数中，用数组展开传递参数：

spark_submit() {
  spark-submit \
    "${conf_args_array[@]}" \
    # 其他固定参数
    "$@"
}

"${conf_args_array[@]}"会将数组中的每个元素作为独立参数传给spark-submit，和直接执行命令的效果完全一致。

方案2：改用逐行解析ini配置的方式（更易维护） #

如果修改了ini的定义方式（每个配置单独一行），可以在脚本中遍历这些配置项，动态拼接--conf参数：

# 解析ini中的spark配置段，假设已将配置存入关联数组spark_conf
spark_submit() {
  local spark_conf_args=()
  for key in "${!spark_conf[@]}"; do
    spark_conf_args+=("--conf" "${key}=${spark_conf[$key]}")
  done
  spark-submit \
    "${spark_conf_args[@]}" \
    "$@"
}

这种方式完全避免了参数拼接和拆分的问题，也更便于后续新增或修改Spark配置。

注意事项 #

• 避免使用eval spark-submit $conf_args，虽然能拆分参数，但存在安全风险（如果ini中包含恶意命令会被执行）。
• 如果参数中包含空格（比如--conf spark.driver.extraJavaOptions="-Xmx2g -XX:+PrintGCDetails"），ini中要正确用引号包裹，脚本解析时也要确保保留引号的作用。

内容的提问来源于stack exchange，提问作者PySparkAce