在Aurora MySQL中参数化LOAD DATA FROM S3语句的S3 URI

由于Aurora MySQL 8的LOAD DATA FROM S3仅支持字面量URI，无法直接使用字符串表达式或变量拼接，你可以通过动态生成SQL语句的方式避免重复书写桶路径，以下是几种实用方案：

1. 使用预处理语句（PREPARE + EXECUTE） #

将S3桶URI存入变量，通过CONCAT拼接生成完整的LOAD DATA语句，再用预处理方式执行：

-- 定义桶URI变量，只需设置一次
SET @s3_bucket = 's3://your-bucket/path/to/files/';

-- 生成并执行表1的导入语句
SET @import_sql = CONCAT(
    'LOAD DATA FROM S3 ''', @s3_bucket, 'table1.csv'' ',
    'INTO TABLE your_database.table1 ',
    'FIELDS TERMINATED BY '','' LINES TERMINATED BY ''\n'';'
);
PREPARE stmt FROM @import_sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

-- 生成并执行表2的导入语句（仅需修改表名和文件名）
SET @import_sql = CONCAT(
    'LOAD DATA FROM S3 ''', @s3_bucket, 'table2.csv'' ',
    'INTO TABLE your_database.table2 ',
    'FIELDS TERMINATED BY '','' LINES TERMINATED BY ''\n'';'
);
PREPARE stmt FROM @import_sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

注意：拼接时需要用两个单引号''转义字符串中的单引号，避免语法错误。

2. 封装为存储过程 #

将导入逻辑封装成存储过程，传入一次桶URI即可处理多张表，进一步简化操作：

DELIMITER //
CREATE PROCEDURE ImportFromS3(IN bucket_uri VARCHAR(255))
BEGIN
    -- 导入表1
    SET @sql = CONCAT(
        'LOAD DATA FROM S3 ''', bucket_uri, 'table1.csv'' ',
        'INTO TABLE your_database.table1 ',
        'FIELDS TERMINATED BY '','' LINES TERMINATED BY ''\n'';'
    );
    PREPARE stmt FROM @sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;

    -- 导入表2
    SET @sql = CONCAT(
        'LOAD DATA FROM S3 ''', bucket_uri, 'table2.csv'' ',
        'INTO TABLE your_database.table2 ',
        'FIELDS TERMINATED BY '','' LINES TERMINATED BY ''\n'';'
    );
    PREPARE stmt FROM @sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;

    -- 按需添加更多表的导入逻辑
END //
DELIMITER ;

-- 调用存储过程，仅需传入一次桶URI
CALL ImportFromS3('s3://your-bucket/path/to/files/');

3. 批量处理大量表（游标循环） #

如果需要导入数十张表，可以借助游标循环遍历表列表，只需维护表信息，无需重复编写导入语句：

-- 创建临时表存储待导入的表信息
CREATE TEMPORARY TABLE temp_import_tables (
    target_db VARCHAR(100),
    target_table VARCHAR(100),
    s3_file VARCHAR(100)
);

-- 插入需要导入的表数据（可批量添加）
INSERT INTO temp_import_tables VALUES
('your_database', 'table1', 'table1.csv'),
('your_database', 'table2', 'table2.csv'),
('your_database', 'table3', 'table3_2024.csv');

-- 定义桶URI
SET @s3_bucket = 's3://your-bucket/path/to/files/';

-- 创建批量导入存储过程
DELIMITER //
CREATE PROCEDURE BatchImportFromS3()
BEGIN
    DECLARE done INT DEFAULT FALSE;
    DECLARE db_name, tbl_name, file_name VARCHAR(100);
    DECLARE import_cursor CURSOR FOR SELECT target_db, target_table, s3_file FROM temp_import_tables;
    DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE;

    OPEN import_cursor;
    import_loop: LOOP
        FETCH import_cursor INTO db_name, tbl_name, file_name;
        IF done THEN
            LEAVE import_loop;
        END IF;

        -- 动态生成导入SQL
        SET @sql = CONCAT(
            'LOAD DATA FROM S3 ''', @s3_bucket, file_name, ''' ',
            'INTO TABLE ', db_name, '.', tbl_name, ' ',
            'FIELDS TERMINATED BY '','' LINES TERMINATED BY ''\n'';'
        );
        PREPARE stmt FROM @sql;
        EXECUTE stmt;
        DEALLOCATE PREPARE stmt;
    END LOOP;
    CLOSE import_cursor;
END //
DELIMITER ;

-- 执行批量导入
CALL BatchImportFromS3();

注意事项 #

• 确保Aurora集群已关联具备S3访问权限的IAM角色，否则会出现权限错误。
• 根据实际文件格式调整FIELDS TERMINATED BY、LINES TERMINATED BY等参数。
• 若表名/文件名来自外部输入，需注意防范SQL注入风险（自行维护的内部列表无需担心）。

内容的提问来源于stack exchange，提问作者Hermann.Gruber