Spark Scala中TextFileStreaming读取本地文件无输出问题排查

我来帮你排查下TextFileStreaming流处理无输出的常见问题，这些都是实际开发中容易踩的坑：

1. 误解了TextFileStream的工作逻辑 #

TextFileStream的核心是监听目录中新增的文件，它不会处理程序启动前就已经存在于目录里的文件。很多人一开始就把文件放在目标目录再启动程序，自然看不到任何输出。

• 修复方式：先启动Spark流程序，再将文件移动/复制到监听目录；如果需要处理已有文件，建议结合批处理API（比如spark.read.text()），或者改用Spark 2.0+的readStream API（它支持配置读取已有文件）。

2. 文件不符合读取要求 #

TextFileStream对文件的写入方式有严格要求：

• 必须原子写入：先把文件写到临时目录，再移动到监听目录，不能直接在监听目录里创建、编辑文件——否则Spark要么识别不到文件，要么读取不完整。
• 文件被读取后，后续修改不会触发重新读取：流处理只基于文件的创建/移动事件，修改已有文件不会被捕获。
• 避免临时文件后缀：Spark默认会忽略.tmp、.part这类后缀的文件，确保你的文件是最终状态的完整文件。

3. 缺失关键的流操作 #

流处理程序必须包含输出启动和程序阻塞的代码，否则程序会直接退出，根本不会处理数据。
比如错误的写法：

val stream = spark.readStream.text("file:///your/dir/path")
// 没有启动输出，也没有等待程序运行

正确的示例（先输出到控制台验证）：

val query = stream.writeStream
  .format("console")
  .outputMode("append")
  .start()
query.awaitTermination() // 保持程序运行，等待流处理

4. 本地运行的配置错误 #

如果是本地调试，这两个配置很容易出错：

• Master设置：不要用local[1]，因为TextFileStream至少需要两个线程——一个监听目录，一个处理数据。建议用local[2]或者更高的线程数。
• 路径格式：本地路径必须加上file:///前缀（比如file:///home/user/data，Windows下是file:///C:/user/data），避免相对路径导致Spark找不到目录。

5. 检查点目录遗留状态 #

如果你的流程序配置了检查点目录，之前的运行可能留下了处理状态，导致新加入的文件被标记为已处理。

• 修复方式：删除旧的检查点目录，重新启动程序；或者为每个流作业设置唯一的检查点目录，避免状态冲突。

6. 权限或文件锁定问题 #

Spark运行的用户可能没有监听目录的读取权限，或者文件被其他程序锁定（比如Windows下文件被打开），导致Spark无法读取文件。

• 修复方式：检查目录和文件的权限，确保Spark进程的用户有读权限；关闭占用文件的程序，再测试流处理。

内容的提问来源于stack exchange，提问作者Rumesh Krishnan