如何在Jupyter Notebook的try/except块中执行AWS S3同步命令？

你原来的代码无法工作的原因是：Jupyter的!魔法命令是在独立shell环境中执行命令，它的执行失败不会触发Python异常，所以try/except块无法捕获到错误。

要实现捕获命令执行错误的需求，推荐使用Python标准库中的subprocess模块替代魔法命令，这样就能通过Python的异常机制捕获执行失败的情况。

方法一：使用subprocess.run()并开启check=True #

这种方式会在命令返回非0状态码时抛出CalledProcessError异常，可直接被try/except捕获：

import subprocess

local_path = "/path/to/local/files"
s3_destination = "s3://your-bucket/destination-path"

try:
    # 将命令拆分为列表形式传入，避免shell注入风险
    subprocess.run(
        ["aws", "s3", "sync", local_path, s3_destination],
        check=True,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True
    )
    print("同步成功")
except subprocess.CalledProcessError as e:
    print(f"同步失败，返回码: {e.returncode}")
    print(f"错误信息: {e.stderr}")

方法二：手动判断命令返回码 #

如果需要更灵活的错误处理逻辑，可以不开启check=True，手动检查命令的返回状态码：

import subprocess

local_path = "/path/to/local/files"
s3_destination = "s3://your-bucket/destination-path"

result = subprocess.run(
    ["aws", "s3", "sync", local_path, s3_destination],
    stdout=subprocess.PIPE,
    stderr=subprocess.PIPE,
    text=True
)

if result.returncode == 0:
    print("同步成功")
else:
    print(f"同步失败，返回码: {result.returncode}")
    print(f"错误信息: {result.stderr}")

补充说明 #

• 使用列表形式传入命令参数，比直接传入字符串更安全，能避免shell注入问题。
• stdout=subprocess.PIPE和stderr=subprocess.PIPE用于捕获命令的输出和错误信息，方便调试。
• text=True（Python 3.7+）会将输出转为字符串，替代旧版的universal_newlines=True。

内容的提问来源于stack exchange，提问作者907Resident