IntelliJ中Spark read函数报错：Cannot resolve symbol 'spark'（新手求助）

核心问题 #

代码中使用的spark变量未定义初始化，在Spark SQL中必须先创建SparkSession实例才能调用read()方法。另外你的依赖存在Scala版本不兼容问题：spark.streaming_2.13:3.3.0与其他依赖的_2.12后缀不一致，会引发运行时错误，需统一版本后缀。

修复方案 #

1. 统一Spark依赖版本 #

修改Maven依赖，确保所有Spark组件的Scala版本后缀一致（以_2.12为例）：

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>3.3.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.12</artifactId>
        <version>3.3.0</version>
    </dependency>
</dependencies>

2. 初始化SparkSession #

Spark 2.x及之后推荐使用SparkSession作为程序入口，替代JavaSparkContext（如需SparkContext可从SparkSession获取）。修正后的代码：

package org.example;

import org.apache.spark.sql.Row;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession;

public class DatasetAPI {
    public static void main(String[] args){
        System.out.println("Hello World");
        
        // 创建SparkSession实例
        SparkSession spark = SparkSession.builder()
                .appName("Temp")
                .master("local")
                .getOrCreate();

        Dataset<Row> df = spark.read().json("location/data.json");
        df.show();
        
        // 关闭资源
        spark.stop();
    }
}

若需保留JavaSparkContext，可通过SparkSession获取：

SparkSession spark = SparkSession.builder()
        .appName("Temp")
        .master("local")
        .getOrCreate();
JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

注意事项 #

• 无需重复创建SparkConf、JavaSparkContext和SparkSession，SparkSession会自动管理上下文资源。
• 确认location/data.json路径正确，可先使用绝对路径测试（如"src/main/resources/data.json"或本地全路径）。

内容的提问来源于stack exchange，提问作者Anurag