Databricks中用AzCopy从AWS S3复制到Azure Blob报语法错误求助

1. 先确认AzCopy安装与路径 #

Databricks集群默认不带AzCopy，先通过以下命令完成安装（适用于Linux集群）：

%sh
wget https://aka.ms/downloadazcopy-v10-linux
tar -xvf downloadazcopy-v10-linux
sudo cp ./azcopy_linux_amd64_*/azcopy /usr/bin/
# 验证安装是否成功
azcopy --version

2. 正确配置AWS凭证（规避语法风险） #

不要在命令行明文暴露密钥，用环境变量传递更安全，也能避免特殊字符导致的语法错误：

%sh
# 临时设置环境变量（仅当前会话有效）
export AWS_ACCESS_KEY_ID="你的AWS_ACCESS_KEY_ID"
export AWS_SECRET_ACCESS_KEY="你的AWS_SECRET_ACCESS_KEY"

# 更安全的方式：在Databricks集群的「环境变量」配置项中预先添加这两个变量

3. 修正AzCopy复制命令的核心语法 #

AzCopy处理S3路径时不需要加https://，且Azure Blob路径必须携带有效SAS令牌（或使用Azure AD身份验证），正确命令格式如下：

%sh
# 替换<SAS_TOKEN>为你在Azure门户生成的容器级SAS令牌（需包含读写权限）
azcopy copy "s3://emp-data/tsc/*" "https://empdata.blob.core.windows.net/awstosf/?<SAS_TOKEN>" \
--recursive=true

常见语法错误排查点 #

• S3路径格式错误：不要给S3路径加https://，AzCopy仅识别s3://bucket/path/格式，带https会被判定为无效URL。
• 密钥特殊字符未转义：如果AWS密钥包含!、$等特殊字符，必须用单引号包裹。
• Blob路径权限缺失：直接写容器路径会因权限不足报错，必须附加SAS令牌或配置Azure AD身份验证。
• 命令换行未连接：多行命令需用\结尾连接，否则会被判定为多条无效命令。

替代方案：用Databricks原生API复制（无需依赖AzCopy） #

如果AzCopy的语法问题难以排查，可直接使用Spark API完成复制：

# 配置AWS和Azure存储凭证
spark.conf.set("fs.s3a.access.key", "你的AWS_ACCESS_KEY_ID")
spark.conf.set("fs.s3a.secret.key", "你的AWS_SECRET_ACCESS_KEY")
spark.conf.set("fs.azure.account.key.empdata.blob.core.windows.net", "你的Azure存储账户密钥")

# 递归复制整个目录
dbutils.fs.cp("s3a://emp-data/tsc/", "wasbs://awstosf@empdata.blob.core.windows.net/", recurse=True)

内容的提问来源于stack exchange，提问作者K.Tom