MYSQL存储过程读取CSV文件并与现有表比对的可行性咨询

核心结论 #

MySQL原生存储过程不支持直接解析读取CSV文件并直接关联比对，没有内置的CSV解析与文件读取能力，但可以通过「临时表中转」的方案实现你“不需要留存永久导入新表”的需求，这也是目前最安全、兼容性最高的实现方式。

推荐实现方案（临时表中转，无永久冗余表） #

这个方案本质是用会话级临时表做中转，比对完成后临时表会自动销毁，不会在数据库中留下额外的永久表，符合你不希望导入新表的诉求，可直接写在存储过程中：

前置要求 #

• 你拥有MySQL的FILE权限
• 待读取的CSV文件放在secure_file_priv配置指定的目录下（可执行SHOW VARIABLES LIKE 'secure_file_priv'查看对应目录）
• 临时表的结构与你要比对的目标表完全一致

存储过程示例代码 #

DELIMITER //
CREATE PROCEDURE CheckCsvVsTargetTable()
BEGIN
    -- 1. 创建会话级临时表，结构和目标比对表完全一致
    CREATE TEMPORARY TABLE temp_csv_data LIKE your_target_table;
    
    -- 2. 把CSV数据导入临时表，根据你的CSV实际分隔符、是否有表头调整参数
    LOAD DATA INFILE '/path/to/your/check_data.csv'
    INTO TABLE temp_csv_data
    FIELDS TERMINATED BY ',' 
    ENCLOSED BY '"' 
    LINES TERMINATED BY '\n'
    IGNORE 1 ROWS; -- 如果CSV第一行是表头就加这行，否则删掉
    
    -- 3. 比对逻辑：找出目标表和CSV不一致的记录，这里以主键id为关联键示例
    -- 3.1 查找CSV有但目标表没有/字段值不一致的记录
    SELECT 'CSV存在但目标表缺失/值不同' AS diff_type, t.*, c.*
    FROM temp_csv_data c
    LEFT JOIN your_target_table t ON c.id = t.id
    WHERE t.id IS NULL OR NOT (
        t.field1 <=> c.field1 AND 
        t.field2 <=> c.field2 -- 把所有要比对的字段都列在这里，<=>可以匹配NULL值
    );
    
    -- 3.2 查找目标表有但CSV没有的记录
    SELECT '目标表存在但CSV缺失' AS diff_type, t.*
    FROM your_target_table t
    LEFT JOIN temp_csv_data c ON t.id = c.id
    WHERE c.id IS NULL;
    
    -- 临时表会在会话结束后自动销毁，也可以手动drop
    DROP TEMPORARY TABLE IF EXISTS temp_csv_data;
END //
DELIMITER ;

其他可选方案说明 #

如果完全不想使用任何表（包括临时表）中转，仅能通过安装第三方用户自定义函数（UDF，比如lib_mysqludf_sys）调用系统命令读取CSV，但该方案存在极高的安全风险，绝大多数生产环境都会禁止安装这类UDF，不推荐使用。

内容的提问来源于stack exchange，提问作者Janice