基于Apache Spark Structured Streaming：单持续数据文件能否生成多批次？

是可行的，但需要针对Spark Structured Streaming文件源的默认行为做相应调整：

• 默认情况下，Spark文件源仅监控目录内新创建的文件，已存在文件的追加内容不会触发新批次——因为它默认以文件创建时间作为处理依据，且每个文件只会被处理一次。
• 要实现单文件持续写入并生成多批次，可参考以下方案：
  1. 调整文件源监控配置：Spark 3.0及以上版本中，可设置spark.sql.streaming.fileSource.watchForFileCreation为false，让Spark监控文件的修改事件而非仅创建事件。同时配合Trigger.ProcessingTime("10 seconds")这类触发规则，让Spark定期扫描文件的增量内容。
  2. 自定义流数据源：如果默认配置无法满足需求，可编写自定义流数据源，通过记录上次读取的位置，每次触发时读取从该位置到当前的新增内容。
  3. 拆分写入策略：若业务允许，建议将持续写入的内容按时间、大小等规则拆分为多个小文件写入目标目录，这种方式更符合Spark流处理的最佳实践，能利用Spark的并行处理能力，避免单大文件带来的性能瓶颈。

内容的提问来源于stack exchange，提问作者Chandani Shukla