如何在Python调用beeline.sh时判断SQL查询执行完成？

一、修复Beeline提示符捕获失败的问题 #

你当前代码无法捕获提示符，大概率是输出缓冲或参数配置问题，可通过以下方式调整：

1. 配置行缓冲与文本模式 #

Beeline默认可能使用全缓冲，导致readline无法及时获取输出。修改subprocess.Popen参数，启用行缓冲并自动处理文本编码：

import subprocess
import logging

process = subprocess.Popen(
    ['bash', self.beeline_path],
    stdin=subprocess.PIPE,
    stdout=subprocess.PIPE,
    stderr=subprocess.STDOUT,
    text=True,  # 自动处理字符串编码，替代universal_newlines=True
    bufsize=1,  # 启用行缓冲，确保输出逐行实时可读
    close_fds=True
)

while True:
    line = process.stdout.readline()
    if not line:
        break
    stripped_line = line.strip()
    if stripped_line.startswith("0: jdbc:hive2://"):
        logging.info(f"Found prompt: {stripped_line}")
        break

2. 确认提示符输出流向 #

部分环境下Beeline的提示符可能输出到stderr，即便你已重定向，仍可单独捕获验证，或添加--verbose启动参数查看完整输出细节，确认提示符的格式是否与你判断的一致。

二、更可靠的查询执行完成判断方案 #

如果捕获提示符仍不稳定，可尝试以下替代方案：

1. 单条SQL独立执行（非交互式） #

每次执行单条SQL时，直接通过Beeline的-e参数传递命令，无需进入交互模式，subprocess.run会自动等待进程结束：

def execute_beeline_sql(sql):
    result = subprocess.run(
        ['bash', self.beeline_path, '-e', sql],
        capture_output=True,
        text=True,
        check=False
    )
    # 通过返回码和输出判断执行结果
    if result.returncode == 0:
        logging.info("查询执行成功")
        # 处理查询结果：result.stdout
        return True
    else:
        logging.error(f"查询失败: {result.stderr}")
        return False

2. 在SQL中添加标记输出 #

在每条SQL末尾添加固定标记的查询，通过捕获标记判断执行完成：

SELECT * FROM target_table;
SELECT 'QUERY_EXECUTION_COMPLETE' AS completion_marker;

Python读取输出时，只要捕获到包含QUERY_EXECUTION_COMPLETE的行，即可判定当前查询执行完毕。

3. 使用pexpect处理交互式进程 #

pexpect是专门用于交互式命令行程序的库，能更可靠地匹配提示符和处理输入输出：

import pexpect

# 启动Beeline交互进程
child = pexpect.spawn(f'bash {self.beeline_path}')
# 等待初始提示符出现
child.expect(r'0: jdbc:hive2://')
logging.info("进入Beeline交互模式")

# 发送第一条SQL并等待执行完成
child.sendline("SELECT count(*) FROM test_table;")
child.expect(r'0: jdbc:hive2://')
# 获取查询结果
query_output = child.before.decode('utf-8')
logging.info(f"查询结果: {query_output}")

# 后续查询重复sendline + expect流程即可

三、额外注意事项 #

• 确保Beeline启动参数完整（如连接串、用户名密码等），避免启动失败导致无提示符输出；
• 部分环境下Beeline可能使用非UTF-8编码，需根据实际情况指定解码格式；
• 针对长时间运行的查询，需设置超时机制，避免程序无限等待。

内容的提问来源于stack exchange，提问作者Muhammad Gelbana