Databricks开发基础结业项目流处理单触发单记录校验不通过

• 首先校验源路径文件内容匹配度
  确认stream_path目录下的所有源JSON文件均为单条记录、无多余冗余文件：该练习的标准测试数据集为每个JSON文件仅存1条业务记录，若单个文件包含多条记录、或目录中混入了之前测试生成的其他文件，会触发maxFilesPerTrigger=1配置下单个trigger处理超过1条记录的问题。可通过批读验证：spark.read.schema(DDLSchema).json(stream_path).count()的结果应该等于目录下JSON文件的总数量，若不匹配则优先清理冗余文件、修正文件内容。
• 清理历史状态后重跑任务
  执行任务前需要完全清空orders_checkpoint_path路径下的所有文件，同时删除目标表orders_table的已有数据：历史checkpoint会记录已处理的文件偏移量，重启任务时会一次性同步历史未处理的批量数据，导致前20个trigger的处理记录数不符合要求。
• 验证trigger及处理逻辑正确性
  启动流任务后可通过ordersQuery.lastProgress['numInputRows']打印每个trigger的输入记录数，确认是否符合单trigger1条的要求：若触发延迟，可检查当前集群资源是否充足，避免因资源不足导致多个trigger的任务合并执行。
• 排查转换逻辑是否生成冗余记录
  确认orders_df = df.select(...)的转换逻辑中没有使用explode等会将单条记录拆分为多条的函数，同时确认schema定义正确，没有因嵌套结构解析错误导致记录数翻倍：可通过批读对比输入DF和转换后DF的总记录数，若数值不一致则修正转换逻辑。

内容的提问来源于stack exchange，提问作者LeM4