SQL Server中sp_execute_external_script首次调用缓慢问题求助

问题背景 #

环境：SQL Server 2019
通过sp_execute_external_script执行嵌入Python脚本的存储过程，将大型数据集作为input_data_1传入，小型数据集以JSON参数传递。

• 首次执行耗时约9秒，后续执行几乎瞬间完成
• 间隔一段时间后再次执行，耗时又回到9秒左右
• 已尝试添加OPTION(RECOMPILE)，耗时降至2-3秒，但仍需进一步优化
• 原方案为纯TSQL实现，因业务动态性及姊妹应用代码复用需求改用Python脚本

核心原因 #

首次执行时需要初始化Python运行环境（加载解释器、导入依赖模块如pandas等），后续执行时环境被缓存；当缓存因闲置超时被回收后，再次执行需重新初始化，导致耗时回升。

优化方案 #

1. 调整外部脚本服务的资源池配置 #

SQL Server的外部脚本服务（Launchpad）默认会在闲置一段时间后回收Python会话，可通过配置延长会话保留时间：

• 打开SQL Server配置管理器，找到SQL Server Launchpad服务
• 右键属性，在高级选项卡中修改PYTHON_EXECUTABLE的参数，添加--retain_session=3600（保留会话1小时，可按需调整）
• 重启SQL Server Launchpad服务

2. 定时暖机任务 #

创建SQL代理作业，定期执行存储过程（比如每30分钟执行一次），保持Python环境处于活跃状态，避免缓存被回收：

-- 创建暖机作业示例（需配置SQL代理）
USE msdb;
GO
EXEC dbo.sp_add_job
    @job_name = N'暖机Python存储过程',
    @description = N'定期执行存储过程以保持Python环境活跃';
GO
EXEC dbo.sp_add_jobstep
    @job_name = N'暖机Python存储过程',
    @step_name = N'执行目标存储过程',
    @subsystem = N'TSQL',
    @command = N'EXEC [xxx].[xxx] @sourceID=''test'', @plantID=''test'', @lineLinkID=''test'', @productCode=''test'', @itemCode=''test'', @targetWidth=''test'', @targetMil=''test'';',
    @retry_attempts = 1,
    @retry_interval = 5;
GO
EXEC dbo.sp_add_schedule
    @schedule_name = N'每30分钟执行',
    @freq_type = 4, -- 每天
    @freq_interval = 1,
    @freq_subday_type = 4, -- 分钟
    @freq_subday_interval = 30;
GO
EXEC dbo.sp_attach_schedule
    @job_name = N'暖机Python存储过程',
    @schedule_name = N'每30分钟执行';
GO
EXEC dbo.sp_add_jobserver
    @job_name = N'暖机Python存储过程',
    @server_name = @@SERVERNAME;
GO

3. 优化Python脚本本身 #

• 将模块导入和常用函数定义移到脚本最外层，避免每次执行重复初始化
• 缓存重复计算的结果，比如CSS样式、固定HTML模板片段，避免每次重新生成：

import pandas as pd

# 预定义静态资源，缓存复用
_CSS = """/* 你的CSS样式内容 */"""
_HTML_OPEN = f"<html><head><style>{_CSS}</style></head><body>"
_HTML_CLOSE = """</body></html>"""

def defineCSS():
    return _CSS

def createHTML_Open():
    return _HTML_OPEN

def createHTML_Close():
    return _HTML_CLOSE

# 其余业务函数保持原有逻辑
def tab(level):
    return tabs

def createTitle(header):
    return html

def createHTMLheader(headerData, socData):
    return headerhtml

def createTableHTML(tableData, tableName):
    return htmlText

def processSocData(socData):
    return sumHTML

def processSocComments(headerData):
    return html

def assembleHTML(headerData, socData):
    return html

socData = pd.DataFrame(InputDataSet)
headerData = pd.read_json(headerTable)
sumHTML = assembleHTML(headerData, socData)
df = pd.DataFrame([sumHTML], columns=["FinalHTML"])
OutputDataSet = df

4. 独立API服务部署（进阶） #

如果上述方案仍无法满足需求，可将Python逻辑部署为独立的API服务（如Flask/FastAPI），SQL存储过程通过HTTP请求调用该API，彻底避免每次初始化Python环境。此方案需额外维护API服务，适合高并发场景。

附加建议 #

• 检查sp_execute_external_script的执行计划，确认是否存在SQL层面瓶颈（比如临时表IO、关联查询效率）
• 升级SQL Server到最新补丁，微软可能修复了外部脚本服务的缓存相关问题

内容的提问来源于stack exchange，提问作者user20057415