HDInsight中已退役节点的Spark与Yarn日志为何无法访问？

• 本地存储依赖：HDInsight Worker节点的Spark和YARN日志默认存储在节点本地磁盘中。当集群缩容、节点被退役销毁时，本地磁盘会被彻底清理，存储在上面的日志也会随之丢失。
• 日志聚合配置问题：YARN的日志聚合功能是将节点本地日志上传至Azure持久化存储（Blob/ADLS）的核心机制。如果未开启该功能，或是聚合目标存储的配置存在错误，节点退役后就没有可访问的持久化日志。
• 日志聚合延迟：即便开启了日志聚合，节点退役时聚合进程可能尚未完成日志上传操作。HDInsight的自动缩容流程若未等待聚合完成就销毁节点，会导致部分日志来不及上传至持久化存储。
• 快速缩容的节点回收逻辑：在工作日的集群扩缩容场景中，快速缩容时节点回收的优先级更高，可能跳过日志上传的等待环节直接销毁节点，进而造成日志丢失。

内容的提问来源于stack exchange，提问作者David Beavon