使用PowerShell上传文件到Azure Data Lake Storage的自动化方案咨询

可行解决方案 #

你可以通过以下几种方式实现脚本自动运行，同时避免在代码中硬编码Azure账户密钥：

方案1：Azure自动化账户+系统托管身份（最推荐，无需维护任何凭证） #

这个方案全程不需要处理任何密钥信息，配置完成后即可自动运行：

• 在Azure门户创建自动化账户，开启「系统分配的托管身份」
• 给该托管身份分配目标存储账户的权限：至少需要「存储Blob数据参与者」角色，以及存储账户的读取权限
• 将调整后的PowerShell脚本上传到自动化账户的PowerShell Runbook，配置定时触发规则即可自动运行

调整后的脚本如下：

# 自动化账户内使用托管身份登录，无需输入任何账号信息
Connect-AzAccount -Identity
Select-AzSubscription -SubscriptionId <你的订阅ID>
# 使用当前登录的托管身份生成存储上下文，无需密钥
$ctx = New-AzStorageContext -StorageAccountName <你的存储账户名> -UseConnectedAccount

$filesystemName = "DataFiles"
# 注意原代码此处的$filesystemName有多余前后空格，已修正
New-AzStorageContainer -Context $ctx -Name $filesystemName -ErrorAction SilentlyContinue

# 创建目录
$dirname = "my-directory/"
New-AzDataLakeGen2Item -Context $ctx -FileSystem $filesystemName -Path $dirname -Directory -ErrorAction SilentlyContinue

# 上传文件到目录
$localSrcFile =  "upload2.txt"
$destPath = $dirname + (Get-Item $localSrcFile).Name
New-AzDataLakeGen2Item -Context $ctx -FileSystem $filesystemName -Path $destPath -Source $localSrcFile -Force

方案2：密钥存入Azure Key Vault，运行时动态拉取 #

如果脚本是在本地或者非Azure环境运行，可以用这个方案：

• 先把存储账户密钥存入Azure Key Vault，给运行脚本的身份分配Key Vault的「密钥读取」权限
• 脚本运行时先从Key Vault动态拉取密钥，不会硬编码在代码里
  参考代码片段：

# 用当前登录的用户/服务身份拉取密钥
$storageKey = Get-AzKeyVaultSecret -VaultName <你的Key Vault名称> -Name <存储密钥对应的密钥名称> -AsPlainText
$ctx = New-AzStorageContext -StorageAccountName <你的存储账户名> -StorageAccountKey $storageKey

方案3：Azure AD服务主体+证书认证 #

如果需要在第三方环境运行脚本，也可以用服务主体加证书的方式登录：

• 注册Azure AD应用，给该应用分配存储账户的对应操作权限
• 给应用绑定认证证书，把证书安装到脚本运行的机器上
• 脚本用服务主体+证书的方式登录，全程不需要明文写密钥

内容的提问来源于stack exchange，提问作者Huss1