如何调试以Shell脚本为入口的Python深度学习项目？

一、os.system('bash run.sh')调试时断点失效的原因 #

os.system会启动独立子进程执行Shell脚本，而PyCharm调试器只能跟踪当前Python主进程，无法穿透到子进程中的Python代码。因此主进程debugger.py的断点能生效，但子进程内Python代码的断点会被直接忽略——调试器并未附着到子进程上。

二、更优雅的IDE调试方案 #

针对Shell脚本启动的深度学习项目，推荐以下几种实用调试方式：

1. 复用Shell脚本的最终参数到PyCharm配置 #

先在命令行执行bash -x run.sh，查看输出里最终调用Python的完整命令（如python main.py --lr 0.001 --batch-size 32 ...），然后在PyCharm的Run/Debug Configurations中新建Python配置，把这些参数直接粘贴到Parameters输入框，直接运行调试主Python脚本即可。这种方式适合脚本参数逻辑不常变动的场景。

2. 改造Shell脚本支持环境变量传参 #

将Shell脚本中固定参数改为通过环境变量读取，示例：

# 原脚本
LR=0.001
BATCH_SIZE=32
python main.py --lr $LR --batch-size $BATCH_SIZE

# 改造后
LR=${LR:-0.001}  # 环境变量未设置时用默认值0.001
BATCH_SIZE=${BATCH_SIZE:-32}
python main.py --lr $LR --batch-size $BATCH_SIZE

之后在PyCharm的Python配置中，通过Environment variables设置需要覆盖的参数（如LR=0.0001），直接运行主Python脚本即可，无需手动整理所有参数。

3. 用PyCharm专业版调试Shell脚本并跳转Python代码 #

PyCharm专业版支持直接调试Shell脚本：

• 新建Shell Script类型的Run/Debug配置，指定run.sh为脚本路径；
• 在脚本中调用Python的行（如python main.py ...）设置断点；
• 启动调试后，执行到该行时点击调试工具栏的Attach to Process，即可自动跳转至Python代码继续调试，完美衔接Shell与Python的调试流程。

4. 用subprocess替代os.system并开启远程调试 #

如果必须通过Python触发Shell脚本，可改用subprocess并为子进程开启远程调试：

import subprocess
import sys

# 配置远程调试参数
debug_args = [sys.executable, '-m', 'ptvsd', '--host', '127.0.0.1', '--port', '5678', '--wait']
# 可修改run.sh将python命令替换为debug_args的组合，或通过环境变量触发调试模式
subprocess.run(['bash', 'run.sh'])

然后在PyCharm中新建Remote Debug配置，连接到127.0.0.1:5678，启动调试后即可附着到子进程的Python代码上。

三、Shell脚本编写复杂参数处理是否规范？ #

分场景判断：

• 合理场景：如果只是做简单的参数默认值设置、多环境切换（如训练/测试模式）、依赖环境初始化，用Shell脚本是行业常见做法，简洁高效，符合规范。
• 不推荐场景：如果参数处理包含大量复杂逻辑（如多层条件判断、动态生成复杂参数、参数校验），Shell脚本的可读性和维护性远不如Python，容易出现隐蔽bug且调试困难。这种情况建议将参数处理逻辑迁移到Python脚本中（比如用argparse或hydra管理配置），Shell脚本仅保留最基础的启动逻辑，更利于长期维护。

内容的提问来源于stack exchange，提问作者Zip