MariaDB LOAD DATA INFILE语法错误及数据导入方案咨询

1. 文本文件路径加载失败解决 #

• 优先使用绝对路径，避免相对路径歧义：
  • Linux/macOS：/home/user/data/source.txt
  • Windows：C:\\Users\\user\\data\\source.txt（注意双反斜杠转义）
• 加载本地客户端机器文件时，必须用LOAD DATA LOCAL INFILE，同时检查：
  • MariaDB配置：执行SHOW VARIABLES LIKE 'secure_file_priv';查看，若值为NULL需修改my.cnf/my.ini解除路径限制
  • DBeaver设置：在连接属性的「高级」选项中开启「Allow local file operations」
• 加载服务器端文件时，确保MariaDB进程对该文件有读取权限。

2. 语法错误修复 #

从错误信息看，语句存在两处核心问题：

• 错误将块起始标识ADSTART设为LINES TERMINATED BY，应该用LINES STARTING BY 'ADSTART'匹配数据块开头
• 语句混入无效的AND ')'片段，不符合LOAD DATA语法结构

正确基础语句示例（根据实际数据调整字段规则）：

LOAD DATA LOCAL INFILE '/你的文件绝对路径.txt'
INTO TABLE appjs
CHARACTER SET utf8mb4 -- 处理£等特殊字符
FIELDS TERMINATED BY '|' -- 替换为实际字段分隔符，如逗号、制表符\t
OPTIONALLY ENCLOSED BY '"' -- 字段有引号包围则保留，无则删除
LINES STARTING BY 'ADSTART' -- 匹配每个数据块的起始标识
TERMINATED BY '\n' -- 替换为实际行终止符，如\r\n
(adid, status, wsid, opno, jobn, prea...); -- 按表字段顺序列出

3. ADOP、ADEP、ADUSF等记录的导入可行性 #

只要这些记录包含在ADSTART开头的数据块中，且字段结构与appjs表匹配，LOAD DATA INFILE可正常导入：

• 若不同类型记录字段数量/顺序不同：
  • 分批次导入，针对每种类型单独编写LOAD DATA语句调整字段映射
  • 使用用户变量+SET子句筛选转换：

    LOAD DATA LOCAL INFILE '/path/to/file.txt'
    INTO TABLE appjs
    LINES STARTING BY 'ADSTART'
    (@col1, @col2, @col3, ...)
    SET adid = @col1, status = @col2,
        wsid = IF(@col3 IN ('ADOP','ADEP','ADUSF'), @col4, NULL)
    WHERE @col3 IN ('ADOP','ADEP','ADUSF'); -- 仅导入指定类型记录
    

4. LOAD DATA vs PHP/Python脚本选择 #

• 优先选LOAD DATA INFILE：源数据结构规则、字段映射清晰时，大数据量导入效率远高于脚本，设置CHARACTER SET即可兼容£等特殊字符。
• 选PHP/Python脚本：数据结构复杂（不同类型记录字段差异大、需多步预处理），或需要自定义清洗、转换逻辑时，脚本灵活性更强，适合非标准化数据源。

内容的提问来源于stack exchange，提问作者italo_pm