求助：如何批量执行带关联参数的存储过程？高效处理30万条数据

方法1：改写存储过程支持批量处理（最优选择） #

直接修改原存储过程，让它接受包含experience_id和involvedPartyID的数据集作为输入，在存储过程内部完成批量逻辑，彻底规避逐行循环的性能损耗。

以SQL Server为例： #

1. 先创建表值类型：

CREATE TYPE ExperiencePartyPair AS TABLE (
    experience_id INT,
    involvedPartyID INT
);

2. 修改存储过程适配批量输入：

ALTER PROCEDURE usp_ExperienceJobTitleClassifications
    @ExperiencePartyPairs ExperiencePartyPair READONLY,
    @status_id INT
AS
BEGIN
    SET NOCOUNT ON;

    -- 将原存储过程的单条逻辑替换为批量操作（示例为更新逻辑，根据实际业务调整）
    UPDATE ejtc
    SET status_id = @status_id
    FROM YourTargetTable ejtc
    JOIN @ExperiencePartyPairs p 
        ON ejtc.experience_id = p.experience_id 
        AND ejtc.involvedPartyID = p.involvedPartyID;
END

3. 调用时直接传入关联表数据：

DECLARE @Pairs ExperiencePartyPair;
INSERT INTO @Pairs (experience_id, involvedPartyID)
SELECT experience_id, involvedPartyID FROM YourAssociationTable;

EXEC usp_ExperienceJobTitleClassifications @Pairs, @status_id = 123;

以MySQL为例（用临时表替代表值参数）： #

1. 创建临时表并导入关联数据：

CREATE TEMPORARY TABLE temp_experience_pairs (
    experience_id INT,
    involvedPartyID INT
);
INSERT INTO temp_experience_pairs SELECT experience_id, involvedPartyID FROM YourAssociationTable;

2. 修改存储过程：

ALTER PROCEDURE usp_ExperienceJobTitleClassifications(IN status_id INT)
BEGIN
    -- 批量处理逻辑（示例为更新，根据实际业务调整）
    UPDATE YourTargetTable ejtc
    JOIN temp_experience_pairs p 
        ON ejtc.experience_id = p.experience_id 
        AND ejtc.involvedPartyID = p.involvedPartyID
    SET ejtc.status_id = status_id;

    DROP TEMPORARY TABLE IF EXISTS temp_experience_pairs;
END;

3. 调用存储过程：

CALL usp_ExperienceJobTitleClassifications(123);

方法2：生成批量执行语句（无需修改原存储过程） #

如果无法修改原存储过程，可以生成批量的CALL语句一次性执行，大幅减少存储过程的调用开销。

MySQL实现： #

-- 生成批量调用语句并执行
SET @sql = '';
SELECT @sql = CONCAT(@sql, 'CALL usp_ExperienceJobTitleClassifications(', experience_id, ', ', involvedPartyID, ', 123); ')
FROM YourAssociationTable;

PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

若数据量过大（30万条）导致SQL语句超长，可分批次执行：

SET @batch_size = 10000;
SET @total_rows = (SELECT COUNT(*) FROM YourAssociationTable);
SET @current_row = 0;

WHILE @current_row < @total_rows DO
    SET @sql = '';
    SELECT @sql = CONCAT(@sql, 'CALL usp_ExperienceJobTitleClassifications(', experience_id, ', ', involvedPartyID, ', 123); ')
    FROM (
        SELECT experience_id, involvedPartyID 
        FROM YourAssociationTable 
        LIMIT @current_row, @batch_size
    ) AS batch;

    PREPARE stmt FROM @sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;

    SET @current_row = @current_row + @batch_size;
END WHILE;

方法3：并行处理（进阶优化） #

将关联表数据拆分为多个批次，用多个会话同时执行批量任务（比如把30万条分成10个3万条的批次），进一步提升处理速度。但需注意：要确保存储过程的业务逻辑不会因并行执行引发锁冲突或数据不一致问题。

内容的提问来源于stack exchange，提问作者Shaheer Jada