IntelliJ中Spark StreamingQuery导入报错：无法解析符号'spark'及Maven依赖问题

看起来你踩了一个常见的依赖混淆坑，我来帮你一步步解决这个问题：

核心问题分析 #

你遇到的两个问题（无法解析StreamingQuery、Maven对spark-sql报错）其实是关联的：

• 你误引入了SparkJava的依赖（com.sparkjava:spark-core），这是一个轻量级Web框架，和你要用的Apache Spark完全无关，会干扰依赖解析
• Apache Spark的spark-sql依赖可能因为版本不匹配或未正确下载，导致Maven报错，进而找不到对应的类

解决方案步骤 #

1. 替换错误的依赖，引入正确的Apache Spark依赖 #

把pom.xml里的com.sparkjava:spark-core替换成Apache Spark官方的核心依赖，并且保持和spark-sql的Scala版本（2.11）一致：

<dependencies>
    <!-- Apache Spark核心依赖，与spark-sql版本、Scala版本对齐 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.4.0</version>
        <!-- 本地开发建议加provided，避免打包时带入集群已有的Spark依赖 -->
        <scope>provided</scope>
    </dependency>
    <!-- Spark SQL依赖，已包含结构化流所需的StreamingQuery类 -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.4.0</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

2. 修复Maven依赖下载问题 #

Maven对spark-sql报错通常是依赖未正确下载，试试这些操作：

• 在IntelliJ中右键项目 → Maven → Reload Project，强制重新拉取依赖
• 检查你的Maven镜像配置，确保能访问中央仓库（可以换成阿里云镜像提升速度）
• 如果本地仓库有损坏的依赖缓存，找到本地Maven仓库的org/apache/spark目录，删除后重新执行依赖下载

3. 清理IntelliJ缓存（如果还是有红色提示） #

有时候IntelliJ的缓存会导致依赖解析异常：

• 点击顶部菜单栏的File → Invalidate Caches...
• 选择Invalidate and Restart，重启IDE后重新验证导入

完成这些步骤后，org.apache.spark.sql.streaming.StreamingQuery应该就能正常解析了。

内容的提问来源于stack exchange，提问作者Alon