我来帮你捋捋这个棘手的问题——控制台能跑但spark-submit失败，这种情况大多是环境依赖、配置差异或者运行模式不匹配导致的，咱们一步步排查：

1. 检查Hive/ORC依赖是否齐全 #

Spark Shell（控制台）默认自带了Hive相关的依赖包，但spark-submit并不会自动加载所有依赖。如果你的代码用到了ORC格式的Hive表，提交时必须显式带上相关依赖：

• 用--packages参数自动拉取依赖（版本要和你的Spark版本匹配）：

  spark-submit --packages org.apache.spark:spark-hive_2.11:2.4.8,org.apache.orc:orc-core:1.5.10 --class TestCode your-jar-file.jar
  

• 或者把对应的jar包放到Spark的jars目录，用--jars参数指定：

  spark-submit --jars spark-hive_2.11-2.4.8.jar,orc-core-1.5.10.jar --class TestCode your-jar-file.jar
  

2. 确保Hive配置文件能被加载 #

Spark Shell会自动读取Hive配置目录（比如$HIVE_HOME/conf）里的hive-site.xml、hive-metastore-site.xml等文件，但spark-submit运行时可能找不到这些配置：

• 把Hive的配置文件复制到Spark的conf目录下；
• 或者提交时用--files参数指定配置文件：

  spark-submit --files /path/to/hive-site.xml --class TestCode your-jar-file.jar
  

这一步能保证Spark连接到正确的Hive Metastore，不然会找不到你的ORC表。

3. 修正运行模式配置 #

你的代码里写了setMaster("local")，如果spark-submit是提交到集群（比如YARN），这个配置会冲突：

• 删掉代码里的setMaster("local")，让spark-submit的参数来指定运行模式，比如：

  spark-submit --master yarn --deploy-mode cluster --class TestCode your-jar-file.jar
  

本地模式在集群环境下无法正常连接到Hive Metastore和HDFS路径，这是常见的坑。

4. 检查权限问题 #

控制台运行用的是你当前用户的权限，但spark-submit如果以集群用户（比如yarn）运行，可能没有写入Hive表对应HDFS路径的权限：

• 查看Hive表的存储路径：在Hive里执行DESCRIBE FORMATTED your_table_name;找到Location；
• 给该路径赋予对应权限，比如：

  hdfs dfs -chmod -R 775 /path/to/hive/orc/table
  hdfs dfs -chown -R your_user:hadoop /path/to/hive/orc/table
  

5. 替换过时的SQLContext为SparkSession #

旧的SQLContext在Spark 2.x之后已经被SparkSession取代，兼容性不如后者，建议修改代码：

import org.apache.spark.sql.SparkSession

object TestCode {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("first example")
      .enableHiveSupport() // 必须启用Hive支持才能访问Hive表
      .getOrCreate()
    
    // 这里写你的数据处理和写入逻辑，比如：
    // val df = spark.read...
    // df.write.mode("append").orc("hive_table_path") 或者用spark.sql("INSERT INTO ...")
  }
}

enableHiveSupport()是关键，它会加载Hive的配置和依赖，保证能正常读写Hive ORC表。

最后提醒一下：如果以上方法都没解决，一定要把spark-submit运行时的完整错误日志贴出来，比如是否报Metastore连接失败、ORC格式不兼容、权限拒绝等信息，这些细节能更快定位问题。

内容的提问来源于stack exchange，提问作者Big data Hadoop dev.