使用union()合并ArrayList中多个Dataset<Row>时结果出现异常值的原因

• 核心诱因：union() 按列位置对齐，不校验列名匹配
  Spark 原生的union()方法完全按照列在schema中的位置做行堆叠，不检查列名是否一致、是否属于同一业务字段。由于你的所有子数据集都经过删列、加列操作，极容易出现「列名相同但schema顺序不一致」的问题：
  例如第一个数据集的schema顺序为[用户ID, 订单金额, 创建时间]，第二个数据集因为删列操作后schema顺序变为[订单金额, 用户ID, 创建时间]，直接执行union()时，会把第一个数据集的用户ID值对齐到第二个数据集的订单金额列、把第二个数据集的订单金额值对齐到第一个数据集的用户ID列。整个过程不会抛出类型不匹配的报错（因为同位置列的数据类型一致），但最终列的取值完全脱离子数据集的正常范围，表现为毫无关联的异常值。
• 列表内的Dataset存在引用污染
  如果构造dropped_added_cols_dataset_list时，没有将独立完成计算、不再变动的Dataset<Row>存入列表，而是把循环中不断被union修改的中间Dataset引用直接加入列表，会导致列表元素不是预期的独立子数据集，而是多次叠加后的中间结果，最终合并后出现内容错乱、数据重复的异常表现。
• 临时元数据/表名冲突导致读错源数据
  生成每个子数据集时，如果重复使用相同的临时视图名、临时表名，且没有在生成下一个数据集前清理上一个的元数据，会导致后续数据集读取源数据时，错误获取其他表/视图的内容，最终合并结果完全偏离预期的子数据集内容。
• 超长逻辑计划触发执行端异常
  逐次循环调用union()会不断叠加Spark的逻辑计划长度，当列表内数据集数量较多时，过长的执行链可能触发Catalyst优化器的解析逻辑异常，或是Executor端的内存引用错乱，最终输出随机的无关联异常值。这类问题通常伴随任务执行耗时异常、Executor报OOM的前置征兆。

验证提示：可以在循环内每次打印当前两个待union数据集的schema，对比同位置列的列名是否完全一致，90%以上的同类异常都是列顺序错位导致的。

内容的提问来源于stack exchange，提问作者Patrick Schulz