Azure Data Factory自托管集成运行时需80GB空间的原因及低空间安装后果

官方要求80GB可用磁盘的具体用途 #

• 基础程序占用：包含自托管IR安装包、依赖运行环境、版本迭代补丁包等固定占用，基础体积约为5~10GB。
• 数据传输缓存：执行数据复制、同步类任务时，分片传输的临时数据会先落盘缓存再上传到目标端，单大文件同步场景下单个缓存文件即可达到数十GB，是磁盘占用的核心部分。
• 运行日志存储：默认保留60天的任务运行日志、错误日志、性能监控日志，高负载场景下累计日志占用可达20~30GB。
• 临时计算文件：执行数据流转换、格式转码、自定义脚本任务时生成的临时计算文件，默认保留48小时用于排障，不会在任务结束后立即删除。
• 预留缓冲空间：应对突发大流量同步、批量任务峰值、日志激增等特殊场景，避免磁盘直接占满导致服务不可用。

低于最低磁盘要求安装的后续风险 #

• 初始安装大概率可以完成，因为初始部署仅需不到10GB空间，15GB可用空间可满足基础安装需求，但投入运行后很快会出现各类异常。
• 数据同步任务频繁失败：处理单文件大小超过可用剩余空间的同步任务、或同时运行多个批量同步任务时，缓存空间不足会直接导致任务中断，通常返回磁盘配额不足相关报错。
• 服务稳定性下降：磁盘占满后新日志无法写入，IR进程会出现未定义异常，频繁自动重启甚至完全无法启动，且无有效日志可用于问题排查。
• 版本更新失败：后续IR的安全补丁、功能更新包无法正常下载安装，必须手动清理磁盘后才能操作，长期不更新会出现版本兼容、安全漏洞等问题。
• 数据一致性风险：缓存文件写入中断时，部分已传输的分片数据无法完成最终校验，可能导致目标端数据重复、丢失或者内容不一致。

补充说明：若暂时无法扩容磁盘，可手动调整IR配置项，缩短日志保留周期、降低单任务缓存上限、开启任务结束后立即清理临时文件的开关，仅能适配低负载、小数据量的同步场景，同时会大幅降低问题排查效率。

内容的提问来源于stack exchange，提问作者JARVIS