Azure Data Factory自定义活动执行Python脚本提示‘can't find the specified file’问题排查及脚本存放位置咨询

问题分析与解决方案 #

你遇到的can't find the specified file错误，核心原因是Azure Batch池的计算节点无法直接访问你存在容器A里的Python脚本——Batch节点默认没有挂载你的Blob容器权限，我来给你拆解下具体的调整方案：

1. 脚本的正确存储位置 #

你有两种可选方案：

• 方案一：将脚本放到Batch账户关联的存储容器
  每个Azure Batch账户都会自动关联一个存储账户（也可手动指定），把Python脚本上传到这个存储账户的某个容器里，然后在ADF自定义活动配置里：
  • 在Settings标签下，Script Path填写脚本在容器内的相对路径（比如transform_scripts/data_clean.py）
  • Script Linked Service选择这个Batch关联存储账户的ADF链接服务
• 方案二：给Batch池挂载你的容器A
  如果不想移动脚本，就用Blobfuse把容器A挂载到Batch池的每个计算节点上，让节点能像访问本地文件一样读取脚本：
  1. 给Batch池的托管标识分配容器A的Storage Blob Data Contributor权限
  2. 在Batch池的启动任务里添加Blobfuse挂载命令，把容器A挂载到节点的某个本地路径（比如/mnt/containerA）
  3. 脚本里的文件路径就用挂载后的本地路径来读写

2. 自定义活动的关键配置检查 #

除了脚本位置，还要确认这几点：

• 自定义活动的链接服务正确指向你的Batch账户，且Batch池的节点状态为Running
• 如果用托管标识访问存储，要确保Batch池的托管标识（系统分配或用户分配）拥有容器A的读写权限
• 脚本里绝对不要用本地绝对路径（比如C:\input.csv），要么用Blobfuse挂载的路径，要么直接用Azure Storage SDK操作Blob（推荐后者，稳定性更高）

3. 脚本内文件读写的正确示例 #

推荐用Azure Storage SDK直接读写Blob，彻底避免路径问题，示例代码如下：

import pandas as pd
from azure.storage.blob import BlobServiceClient

# 用托管标识初始化客户端（无需存储密钥）
blob_service_client = BlobServiceClient(account_url="https://yourstorageaccount.blob.core.windows.net")
container_client = blob_service_client.get_container_client("containerA")

# 读取输入CSV
input_blob = container_client.get_blob_client("input_files/source.csv")
df = pd.read_csv(input_blob.download_blob())

# 你的转换逻辑
transformed_df = df[df["value"] > 100]

# 保存输出CSV
output_blob = container_client.get_blob_client("output_files/transformed.csv")
output_blob.upload_blob(transformed_df.to_csv(index=False), overwrite=True)

4. Batch池的额外排查点 #

• 确认Batch池的计算节点已经安装了Python和脚本依赖的库（比如pandas、azure-storage-blob），如果是默认池镜像，可能需要在启动任务里添加安装命令（比如pip install pandas azure-storage-blob）
• 查看Batch任务的日志（路径：Batch账户 -> Jobs -> 对应任务 -> 日志），里面会有更详细的错误信息，能帮你定位到底是脚本找不到、依赖库缺失，还是存储权限问题

内容的提问来源于stack exchange，提问作者Saravana Kumar