Azure DevOps CLI任务中Pandas读取Blob SAS URL CSV报404问题排查

核心原因 #

日志里的SAS URL被截断，说明URL在Azure DevOps任务传递过程中被命令行解析器拆分了——SAS URL包含&等特殊字符，直接作为命令行参数传入时，会被当成多个参数处理，导致实际传入脚本的是不完整的URL，自然找不到资源报404。

具体修复步骤 #

1. 给SAS URL套双引号 #

在Azure DevOps的Azure CLI任务里，传递--blob_sas_url参数时，必须用双引号把整个SAS URL包起来，防止特殊字符被拆分：

python your_script.py --blob_sas_url "https://yourstorage.blob.core.windows.net/container/file.csv?sv=2023-08-03&ss=bfqt&srt=sco&sp=rwdlacupiytfx&se=2024-12-31T23:59:59Z&st=2024-01-01T00:00:00Z&spr=https&sig=xxx"

2. 脚本里验证URL完整性 #

在脚本的入口处加一行打印，用repr()显示原始字符串，确认传入的URL没被截断：

if __name__ == "__main__":
    parser = argparse.ArgumentParser(description='Azure ML Dataset Versioning pipeline')
    parser.add_argument('--blob_sas_url', type=str, help='SAS URL to the Data File in Blob Storage')
    
    args = parser.parse_args()
    # 打印原始URL，确认是否完整
    print("Received SAS URL:", repr(args.blob_sas_url))
    ds_versioner = Pipeline(args)
    ds_versioner.create_pipeline()

3. 改用Azure SDK读取Blob（备选方案） #

如果还是踩坑，直接用Azure Blob SDK读取，绕开URL解析的问题：

from azure.storage.blob import BlobClient

def get_Dataframe(self):
    blob_client = BlobClient.from_blob_url(self.args.blob_sas_url)
    # 直接读Blob流到DataFrame
    with blob_client.open_read() as blob_stream:
        df = pd.read_csv(blob_stream)
    return df

4. 检查Azure DevOps变量传递 #

如果是用DevOps变量存SAS URL，要确保：

• 敏感变量标记为秘密变量
• 任务里引用时用$(BlobSasUrl)，并且套双引号：

  python your_script.py --blob_sas_url "$(BlobSasUrl)"
  

额外验证点 #

如果URL完整还是报404，检查这几点：

• SAS令牌有没有读（r）权限
• Blob路径的大小写是否正确（Azure Blob路径区分大小写）
• 存储账户防火墙是否允许Azure DevOps代理的IP访问

内容的提问来源于stack exchange，提问作者Imperial_J