IDE运行Java/Scala程序与Jar运行的差异及Spark Streaming Jar故障排查指导

很高兴能帮你解答这两个问题，我结合日常开发Spark和Java/Scala的经验来详细说明：

一、IntelliJ/Eclipse运行程序 vs 运行Jar包的核心差异 #

• 类加载与依赖管理不同：IDE运行时会自动把项目所有依赖的Jar包加入类路径，直接从本地仓库或项目lib目录加载类；而Jar包运行时，要么需要把所有依赖打包成「Fat Jar」（包含所有依赖的可执行Jar），要么通过-cp参数手动指定依赖路径。如果依赖缺失或类路径配置错误，就会触发ClassNotFoundException这类问题。
• 运行环境上下文有区别：IDE会自带开发环境的配置，比如你在IDE里设置的JVM参数（内存、系统属性）、调试类加载器都会生效；而Jar包运行是纯JVM环境，所有参数都要通过命令行手动指定（比如-Xmx4g设置内存，-Dkafka.bootstrap.servers=xxx设置系统属性），如果IDE里的特殊参数没带到Jar运行时，就可能出现内存不足、配置缺失的问题。
• 资源文件访问逻辑不一样：IDE中读取资源文件（比如配置文件）可以用相对路径，因为当前工作目录是项目根目录；但Jar包运行时，工作目录可能是任意路径，且资源文件是打包在Jar内部的，必须用getClass().getResourceAsStream("/xxx.properties")这种方式读取，否则会找不到文件。
• 调试与日志体验不同：IDE自带断点调试功能，能实时查看变量、跟踪代码执行；Jar包运行时需要手动开启远程调试（比如添加-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005参数），日志输出也依赖打包时正确配置的日志框架（比如log4j、slf4j），如果IDE里的日志配置没打包进去，Jar运行时可能会出现日志不输出或格式混乱的情况。

二、Spark Streaming Kafka代码Jar运行问题的排查步骤 #

针对你遇到的「IDE运行正常，Jar运行出问题」的情况，我给你梳理几个关键排查方向：

1. 先确认Jar包的依赖完整性

   • 首先检查你打包的是普通Jar还是Fat Jar。Spark和Kafka的依赖如果没打包进去，Jar运行时必然会报错。你可以用jar tf your-jar-file.jar命令查看Jar包内是否包含org.apache.spark、org.apache.kafka相关的类。
   • 如果你用Maven或SBT打包，要确保配置了正确的打包插件：Maven用maven-shade-plugin，SBT用sbt-assembly。另外注意，如果你是在Spark集群上运行，通常不需要打包Spark核心依赖（集群环境已存在），但本地运行Jar的话需要包含这些依赖。

2. 检查运行命令是否正确

   • Spark程序强烈推荐用spark-submit运行，而不是直接java -jar，因为spark-submit会自动配置Spark的类路径、JVM参数和集群环境。你的代码设置了setMaster("local[2]")，对应的运行命令应该是：

     spark-submit --class Test --master local[2] your-jar.jar
     

   • 如果直接用java -jar，需要手动指定所有Spark依赖的类路径，这很容易出错，优先用spark-submit。

3. 排查Kafka连接配置

   • IDE运行时可能用的是本地Kafka地址（比如localhost:9092），但Jar运行时如果在不同机器，或者运行环境的hosts文件没有配置Kafka节点的映射，就会连接失败。检查代码里的Kafka bootstrap servers配置是否是运行环境可访问的地址。
   • 查看运行日志，是否有TimeoutException、LeaderNotAvailableException这类Kafka连接相关的错误，这些是连接问题的典型信号。

4. 检查资源文件的读取方式

   • 如果代码里用到了配置文件（比如Kafka的配置.properties），确保文件已经打包到Jar里，并且读取方式正确。不要用new File("config.properties")这种本地文件读取方式，而是用：

     val inputStream = getClass.getResourceAsStream("/config.properties")
     val props = new Properties()
     props.load(inputStream)
     

   • 如果配置文件是外部的，Jar运行时需要指定文件的绝对路径，或者把文件放在运行命令的工作目录下。

5. 查看完整的错误堆栈日志

   • Jar运行时的错误信息可能比IDE里的更简略，一定要捕获完整的堆栈跟踪。用spark-submit运行时，日志会输出到控制台，你也可以用--driver-log-level INFO来查看更详细的日志内容。
   • 重点看堆栈的第一行错误信息，是类找不到、连接超时还是资源缺失，这是定位问题的核心线索。

6. 核对JVM参数与环境变量

   • IDE里可能配置了JVM内存参数（比如-Xmx2g），Jar运行时如果没设置，可能会因为内存不足触发OOM错误。用spark-submit的话，可以通过--driver-memory 2g设置驱动内存，--executor-memory 2g设置执行器内存。
   • 检查运行环境的JAVA_HOME是否和IDE里的一致，Spark 2.x版本推荐用Java 8，高版本Java可能存在兼容性问题。

内容的提问来源于stack exchange，提问作者Srinivas