如何使用ADO自动化将CSV部署到ADLS容器？脚本验证求助

需求可行性 #

你的需求完全可以实现，Azure DevOps Pipeline能够完整支持从Azure Repos获取文件并部署到Azure Data Lake Storage (ADLS) 的自动化流程。

现有脚本的问题分析 #

你提供的脚本存在几个关键缺失点，直接运行会失败：

• 缺少从Azure Repos拉取CSV文件的步骤：当前脚本直接尝试下载构建产物，但没有先将Repos中的CSV文件打包为构建产物的环节，DownloadBuildArtifacts@0任务会找不到指定的csv-artifact。
• 占位符未替换：脚本中的Your-Service-Connection-Name、yourstorageaccount、your-container-name等占位符必须替换为你实际的Azure资源名称和服务连接名。
• 权限依赖需确认：使用--auth-mode login时，需确保你的Azure服务连接对应的身份（如服务主体）拥有目标ADLS容器的存储Blob数据贡献者权限，否则会出现上传权限不足的错误。

修正后的完整流水线脚本 #

以下是包含完整流程的流水线配置，涵盖从Repos拉取文件、打包产物、上传到ADLS的全步骤：

stages:
- stage: PrepareAndDeploy
  displayName: '准备文件并部署到ADLS'
  jobs:
  - job: PrepareArtifact
    displayName: '从Repos拉取文件并打包产物'
    pool:
      vmImage: 'ubuntu-latest'
    steps:
    - task: Checkout@3
      displayName: '拉取Azure Repos代码'
      inputs:
        fetchDepth: 1

    - task: PublishBuildArtifacts@1
      displayName: '将CSV文件发布为构建产物'
      inputs:
        PathtoPublish: '.' # 替换为CSV文件在Repos中的实际路径，比如 './data'
        ArtifactName: 'csv-artifact'
        publishLocation: 'Container'

  - job: UploadToADLS
    displayName: '上传CSV到ADLS'
    dependsOn: PrepareArtifact
    pool:
      vmImage: 'ubuntu-latest'
    steps:
    - task: DownloadBuildArtifacts@0
      displayName: '下载CSV构建产物'
      inputs:
        buildType: 'current'
        artifactName: 'csv-artifact'
        downloadPath: '$(System.ArtifactsDirectory)'

    - task: AzureCLI@2
      displayName: '上传CSV到ADLS容器'
      inputs:
        azureSubscription: '你的Azure服务连接名称'
        scriptType: 'bash'
        scriptLocation: 'inlineScript'
        inlineScript: |
          # 替换为你的实际资源信息
          STORAGE_ACCOUNT="你的存储账户名"
          CONTAINER="你的ADLS容器名"
          # 替换为你要上传的具体文件路径，若要批量上传可使用az storage blob upload-batch
          LOCAL_CSV_FILE="$(System.ArtifactsDirectory)/csv-artifact/sample.csv"
          DEST_PATH="csv-files/sample.csv"

          az storage blob upload \
            --account-name $STORAGE_ACCOUNT \
            --container-name $CONTAINER \
            --name $DEST_PATH \
            --file $LOCAL_CSV_FILE \
            --auth-mode login \
            --overwrite

额外注意事项 #

• 批量上传：如果需要上传多个CSV文件，可将az storage blob upload替换为az storage blob upload-batch，示例：az storage blob upload-batch --account-name $STORAGE_ACCOUNT --container-name $CONTAINER --source "$(System.ArtifactsDirectory)/csv-artifact" --destination "csv-files" --auth-mode login
• 路径验证：确保Repos中的CSV文件路径与PathtoPublish、LOCAL_CSV_FILE的配置一致，避免出现文件找不到的错误。

内容的提问来源于stack exchange，提问作者Salman