MySQL Aurora从S3导入数据：LOAD DATA替代方案咨询

针对你遇到的LOAD DATA FROM S3在Prepared Statement和动态SQL里的限制，以下几个方案可以避免Lambda中转文件内容，直接让Aurora和S3交互：

1. 绕开Prepared Statement，直接执行原生SQL #

既然报错是因为Prepared Statement不支持该命令，那就在Lambda里直接拼接合法的SQL字符串执行（必须严格校验S3文件名，绝对不能跳过SQL注入防护）。比如用Python的pymysql时，别用参数化查询，直接构造完整SQL：

import re
import pymysql

def lambda_handler(event, context):
    s3_bucket = event['Records'][0]['s3']['bucket']['name']
    s3_key = event['Records'][0]['s3']['object']['key']
    # 校验文件名：只允许字母、数字、下划线、连字符、点和斜杠，防止注入
    if not re.match(r'^[a-zA-Z0-9_\-\./]+$', s3_key):
        raise ValueError("Invalid S3 object key, possible SQL injection risk")
    
    s3_path = f"s3://{s3_bucket}/{s3_key}"
    sql = f"""
    LOAD DATA FROM S3 '{s3_path}' 
    INTO TABLE your_target_table 
    FIELDS TERMINATED BY ',' 
    LINES TERMINATED BY '\\n' 
    IGNORE 1 LINES;
    """
    
    conn = pymysql.connect(host='your-aurora-endpoint', user='user', password='pass', db='db')
    with conn.cursor() as cursor:
        cursor.execute(sql)
        conn.commit()
    conn.close()

这种方式只是让Lambda发个指令，数据全程在S3和Aurora之间传输，Lambda不碰文件内容。

2. 用RDS Data API执行批量导入 #

如果你的Aurora是Serverless版本，直接用RDS Data API调用批量导入，它支持直接指定S3路径，不需要建立持久连接，也能避开Prepared Statement的限制。Lambda里用AWS SDK调用ExecuteStatement即可，示例（Python）：

import boto3

def lambda_handler(event, context):
    s3_bucket = event['Records'][0]['s3']['bucket']['name']
    s3_key = event['Records'][0]['s3']['object']['key']
    rds_data = boto3.client('rds-data')
    
    response = rds_data.execute_statement(
        secretArn='your-secret-manager-arn',
        database='your-db',
        resourceArn='your-aurora-cluster-arn',
        sql=f"""
        LOAD DATA FROM S3 's3://{s3_bucket}/{s3_key}' 
        INTO TABLE your_target_table 
        FIELDS TERMINATED BY ',' 
        LINES TERMINATED BY '\\n';
        """
    )

同样，Lambda只负责触发指令，数据不经过Lambda。

3. 用Aurora外部表实现动态导入（MySQL 8.0兼容版） #

如果你的Aurora是MySQL 8.0兼容版本，可以创建S3外部表，然后通过动态SQL切换外部表的S3路径，再用INSERT...SELECT导入。这种方式能在存储过程里用，完美解决动态SQL需求：

-- 先创建外部表（需提前配置Aurora的S3访问权限）
CREATE EXTERNAL TABLE s3_temp_import (
    id INT,
    name VARCHAR(255),
    value DECIMAL(10,2)
)
ENGINE = S3
DEFAULT CHARSET = utf8mb4
LOCATION = 's3://your-bucket/temp/'
FORMAT = 'CSV'
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';

-- 存储过程示例：动态指定S3路径并导入
DELIMITER //
CREATE PROCEDURE import_from_s3(IN s3_path VARCHAR(500))
BEGIN
    -- 动态修改外部表的存储路径
    SET @sql = CONCAT('ALTER EXTERNAL TABLE s3_temp_import LOCATION = ''', s3_path, ''';');
    PREPARE stmt FROM @sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
    
    -- 导入到目标表
    INSERT INTO your_target_table SELECT * FROM s3_temp_import;
END //
DELIMITER ;

-- 调用存储过程
CALL import_from_s3('s3://your-bucket/new-data.csv');

外部表的方式完全满足动态SQL和存储过程的需求，数据也是直接从S3到Aurora。

4. 用AWS Glue托管式ETL（无服务器，低运维） #

如果需要复杂的数据清洗或者不想自己写太多Lambda代码，直接用Glue做中间层。配置Glue作业监听S3的新增文件事件，用Glue的JDBC连接直接把S3数据写入Aurora，全程是托管服务，故障恢复、资源扩容都由AWS管，而且数据不经过你的自定义代码节点。

内容的提问来源于stack exchange，提问作者spacedog