排查远程服务器ETL工具（Pentaho）中Python脚本随机停滞问题

遇到这种只在自动调度时随机停滞、还没任何报错的问题确实挺闹心的——毕竟手动跑完全正常，排查起来毫无头绪。不过你想到加日志排查的思路完全正确，这是破解这类隐性问题的核心手段，下面给你详细的实现建议和其他排查方向：

一、优先添加详细日志（核心解决手段） #

当然可以通过写入TXT日志来捕捉停滞时的上下文，而且必须要做——这类无报错的随机停滞，往往是某个环节的隐性阻塞（比如网络卡顿、资源锁、环境差异），只有通过日志才能定位到具体停滞点。推荐用Python标准库logging来实现，既能灵活配置，又能自动记录时间戳，方便事后回溯。

具体实现步骤： #

1. 基础日志配置：在脚本开头添加日志初始化代码，指定输出文件、日志格式（必须包含时间戳、日志级别和具体操作）：

import logging
import time
import os

# 可以按日期生成日志文件，避免单个文件过大
log_filename = f'/path/to/your/logs/script_{time.strftime("%Y%m%d")}.log'
logging.basicConfig(
    filename=log_filename,
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S'
)

# 先记录脚本启动信息，包括运行用户、环境变量快照（关键！自动调度和手动运行的环境可能不一样）
logging.info(f"脚本启动，运行用户: {os.getlogin()}")
logging.info(f"当前工作目录: {os.getcwd()}")

2. 关键步骤的日志埋点：要覆盖文件生成、邮件发送的每个环节，包括开始、结束、耗时，甚至对循环中的每个文件单独记录：

# 第一个脚本（文件生成）示例
for file_idx in range(1, 11):
    start_time = time.time()
    logging.info(f"=== 开始生成第 {file_idx} 个文件 ===")
    try:
        # 你的文件生成逻辑
        generate_target_file(file_idx)
        # 记录完成状态和耗时，方便判断是否有异常延迟
        logging.info(f"第 {file_idx} 个文件生成完成，耗时 {time.time() - start_time:.2f} 秒")
    except Exception as e:
        # 即使脚本没崩溃，也要捕获所有异常并记录堆栈信息
        logging.error(f"生成第 {file_idx} 个文件时出错: {str(e)}", exc_info=True)

# 第二个脚本（邮件发送）示例
for file_path, mail_recipients in zip(target_files, recipient_lists):
    start_time = time.time()
    logging.info(f"=== 开始发送文件 {os.path.basename(file_path)} 至: {','.join(mail_recipients)} ===")
    try:
        # 你的邮件发送逻辑
        send_mail_with_attachment(file_path, mail_recipients)
        logging.info(f"文件 {os.path.basename(file_path)} 发送完成，耗时 {time.time() - start_time:.2f} 秒")
    except Exception as e:
        logging.error(f"发送文件 {os.path.basename(file_path)} 时出错: {str(e)}", exc_info=True)

3. 额外的资源状态日志：如果怀疑是服务器资源不足导致的停滞，可以定时记录CPU、内存使用情况（需要安装psutil库）：

import psutil

def log_system_status():
    cpu_usage = psutil.cpu_percent(interval=1)
    mem_usage = psutil.virtual_memory().percent
    logging.info(f"系统状态：CPU使用率 {cpu_usage}%，内存使用率 {mem_usage}%")

# 在每个文件生成/发送后调用，或者用线程定时触发

二、其他排查方向（针对自动调度独有的差异） #

因为问题只出在自动运行场景，手动正常，要重点排查两者的环境差异：

• 网络/外部服务超时：邮件发送时如果没设置超时，遇到邮件服务器临时卡顿，脚本可能无限阻塞。检查SMTP连接、发送的代码是否设置了合理的超时时间（比如smtp.connect(host, port, timeout=30)）。
• 文件系统锁：自动运行时，生成的文件可能被服务器的备份工具、杀毒软件临时锁定，导致脚本等待解锁。可以在日志里记录文件的读写状态，或者添加文件操作的超时重试逻辑。
• Pentaho调度资源限制：查看Pentaho调度器是否给脚本分配了足够的内存/CPU，或者是否有其他高负载任务和脚本同时运行，导致资源抢占。可以在Pentaho的调度日志里查看任务运行时的资源占用情况。
• 权限差异：Pentaho调度时的运行用户可能和你手动登录的用户不一样，导致某些文件路径没有读写权限，或者无法调用特定依赖。日志里记录的运行用户和工作目录可以帮你验证这一点。

三、停滞时的事后排查 #

下次出现停滞时，不要急着重启：

1. 先查看日志文件，找到最后一条日志记录，确定停滞在哪个环节（比如是生成第5个文件时卡住，还是发送第3封邮件时卡住）。
2. 用服务器命令查看Python进程状态（比如ps -ef | grep python），确认进程是否还在运行，是否处于阻塞状态（可以用strace追踪进程的系统调用，看它在等待什么资源）。

内容的提问来源于stack exchange，提问作者alex011