Flink Scala项目FileSource导入缺失及依赖配置问题求助

一、错误根源分析 #

• 依赖版本不统一：你的Flink核心版本为1.15.1，但引入的flink-connector-filesystem是1.11.6、flink-hadoop-bulk是1.14.6，跨版本依赖会导致类加载冲突或找不到目标类。
• 依赖组件错误：FileSource属于Flink 1.14+推出的新文件源API，位于flink-connector-file依赖中，而非旧的flink-connector-filesystem（该组件仅用于文件输出sink）。

二、修正后的依赖配置 #

所有Flink组件版本必须与核心版本1.15.1保持一致，替换原有依赖片段为：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-parquet_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-file_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-hadoop-bulk_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
</dependency>

注意：确保所有Flink依赖的version都引用统一的${flink.version}变量，彻底避免版本不一致问题。

三、Scala与Java导入路径说明 #

Scala和Java的Flink通用API（比如FileSource）导入路径完全一致，不存在差异。只有Scala特有的扩展API（如DataStream的Scala封装类）会位于org.apache.flink.streaming.api.scala等专属包下，而FileSource属于通用文件源组件，路径对Scala和Java均为org.apache.flink.connector.file.src.FileSource。

四、推荐的通配符导入 #

如果需要批量导入文件源及Parquet处理相关类，可使用以下通配符导入：

// 文件源核心类
import org.apache.flink.connector.file.src._
// FileSource构建器与读取配置类
import org.apache.flink.connector.file.src.reader._
// Parquet格式处理类
import org.apache.flink.formats.parquet._
// Scala API核心扩展（若需使用Scala风格的DataStream/DataSet操作）
import org.apache.flink.streaming.api.scala._
import org.apache.flink.api.scala._

五、额外注意事项 #

• 清理本地Maven仓库中冲突的依赖包，重新执行mvn clean install确保依赖正确下载。
• 针对TB级Parquet数据的批量/流式读取，建议使用FileSource配合ParquetColumnarRowInputFormat，可充分利用Flink的并行读取能力提升性能。

内容的提问来源于stack exchange，提问作者Ivan Webber