Azure Data Factory数据流调试时自托管IR不显示的原因咨询
问题原因与解决方案
核心原因
ADF的数据流调试模式依赖Azure托管的集成运行时(包括AutoResolveIntegrationRuntime或自定义Azure托管IR)提供Spark计算资源,自托管集成运行时(Self-hosted IR)不支持承载数据流调试所需的临时Spark集群,因此不会出现在数据流调试的IR选择列表中。
自托管IR的定位是连接私有网络内的数据源/接收器(比如虚拟机内的数据库、本地存储),而非承载数据流的Spark运行环境。你之前测试数据集连接成功,正是因为自托管IR完成了私有数据的链路打通,这和数据流调试的计算环境是两个独立环节。
解决方案
- 数据流调试时,直接选择列表中的
AutoResolveIntegrationRuntime(或你自行创建的Azure托管IR)即可启动调试会话。 - 在数据流的数据源/接收器配置面板中,找到
Integration runtime选项,选择你创建的自托管IR,确保数据连接链路正确。此时数据流会通过Azure托管IR运行Spark逻辑,同时通过自托管IR访问私有数据,两者互不冲突。
额外说明
即使是正式触发数据流运行,其底层Spark计算仍需由Azure托管IR提供,自托管IR仅负责私有数据的接入,不会作为数据流的运行载体。
内容的提问来源于stack exchange,提问作者FrMS
相关产品推荐
相关产品推荐

