使用Ruby执行LOAD DATA LOCAL INFILE插入MySQL数据行数偏少问题

遇到这种MySQL客户端能正常导入全量数据，但Ruby脚本执行相同SQL却插入行数变少的情况，大概率是连接配置或运行环境权限的问题，下面是几个常见的排查方向和解决办法：

1. 检查Ruby进程的文件访问权限 #

MySQL客户端是用你的个人用户身份运行的，肯定能读取目标文件，但Ruby脚本可能是用其他用户（比如服务器的www-data用户、系统默认的Ruby运行用户）执行的，这个用户可能没有访问文件路径的权限。

• 解决办法：
  • 给目标文件和所在目录添加通用读取权限，比如执行 chmod o+r filepath（给其他用户开放读权限）；
  • 或者把数据文件放到Ruby进程用户默认有权限访问的目录，比如/tmp临时目录。

2. 确保Ruby的MySQL连接开启了LOCAL_INFILE支持 #

很多Ruby的MySQL驱动（比如mysql2 gem）默认是关闭LOCAL_INFILE选项的——哪怕你在SQL里写了LOCAL，驱动也会忽略这个参数，导致实际没有读取本地文件，最终只插入了部分数据（甚至0行）。

• 解决办法：
  在建立数据库连接时，显式开启local_infile选项，示例代码如下：

  client = Mysql2::Client.new(
    host: 'localhost',
    username: 'your_username',
    password: 'your_password',
    database: 'your_database',
    local_infile: true # 关键：开启本地文件导入支持
  )
  

  之后再执行LOAD DATA命令，应该就能和MySQL客户端一样正常导入全量数据了。

3. 验证文件换行符的处理是否一致 #

如果你的数据文件是在Windows环境生成的（换行符为\r\n），而Ruby运行在Linux/Unix环境，可能会因为换行符识别差异导致部分行被合并或忽略。

• 解决办法：
  在LOAD DATA命令里显式指定换行符，比如：

  connect.query("LOAD DATA LOCAL INFILE 'filepath' INTO TABLE tablename FIELDS TERMINATED BY '\\t' LINES TERMINATED BY '\\r\\n';")
  

  如果是Unix环境生成的文件，把换行符改成'\n'即可。

4. 排查隐性的字符编码问题 #

如果数据文件的编码和数据库表的编码不一致，可能会导致部分行因编码错误被跳过——MySQL客户端可能自动处理了编码转换，但Ruby驱动却没有。

• 解决办法：
  在LOAD DATA命令里加上CHARACTER SET指定文件编码，比如：

  connect.query("LOAD DATA LOCAL INFILE 'filepath' INTO TABLE tablename CHARACTER SET utf8 FIELDS TERMINATED BY '\\t';")
  

建议先从第2点开始排查，这是Ruby使用LOAD DATA LOCAL最常见的坑，很多开发者都会忽略开启local_infile连接选项。

内容的提问来源于stack exchange，提问作者Mallela SriPrakash