如何配置连接将EC2上的CSV高效导入AWS RDS MySQL？

一、解决EC2上mysqlimport缺失问题 #

EC2不存在单独的mysqlimport安装包，它属于MySQL客户端工具集的一部分，执行对应系统的安装命令即可：

• 针对Amazon Linux 2/RHEL系系统：

  # 安装MariaDB客户端（兼容MySQL）
  sudo yum install mariadb105-client -y
  # 或安装MySQL官方客户端
  sudo yum install mysql-community-client -y
  

  安装完成后即可正常使用mysqlimport命令。

二、修复本地mysqlimport的1049错误 #

你执行的命令格式有误，mysqlimport要求参数为「数据库名 + 文件名」，不能用库.表的组合格式。修正后的命令如下：

mysqlimport --local --compress --user=admin --password=hahahahaah --host=women-poc.hohohoho.here-there-3.rds.amazonaws.com --fields-terminated-by=',' --database=firmenich results_women.csv

也可以分开指定库和表：

mysqlimport --local --compress --user=admin --password=hahahahaah --host=women-poc.hohohoho.here-there-3.rds.amazonaws.com --fields-terminated-by=',' firmenich results_women.csv

注意：尽量指定具体的.csv文件名，避免用results_women*匹配多文件引发问题。

三、最优高效导入方案（EC2直接导入，速度最快） #

EC2与同区域RDS的网络延迟极低，优先采用EC2直接导入，步骤如下：

1. 配置RDS允许本地文件导入 #

登录AWS控制台操作：

• 找到你的RDS实例对应的参数组，将local_infile参数设置为ON，保存后重启RDS实例使配置生效。

2. 用LOAD DATA INFILE在EC2上导入 #

先确认EC2安全组已开放RDS的3306端口访问权限，然后在EC2上执行：

# 连接到RDS数据库
mysql -u admin -p -h women-poc.hohohoho.here-there-3.rds.amazonaws.com firmenich

进入MySQL命令行后，执行以下优化+导入命令：

-- 关闭自动提交、外键/唯一索引检查，大幅提升导入速度
SET autocommit=0;
SET unique_checks=0;
SET foreign_key_checks=0;

-- 执行导入（根据你的CSV实际格式调整参数）
LOAD DATA LOCAL INFILE '/你的CSV文件绝对路径/results_women.csv'
INTO TABLE results_women
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"' -- 如果CSV字段用引号包裹，加上此句
LINES TERMINATED BY '\n' -- 若为Windows生成的CSV，改为'\r\n'
IGNORE 1 ROWS; -- 若CSV含表头，忽略第一行

-- 恢复默认设置并提交数据
SET autocommit=1;
SET unique_checks=1;
SET foreign_key_checks=1;
COMMIT;

3. 用mysqlimport在EC2上导入 #

如果偏好命令行工具，在EC2执行：

mysqlimport --local --compress --user=admin --password=hahahahaah --host=women-poc.hohohoho.here-there-3.rds.amazonaws.com --fields-terminated-by=',' --ignore-lines=1 firmenich /你的CSV文件绝对路径/results_women.csv

--ignore-lines=1用于跳过CSV表头行。

四、导入前的关键注意事项 #

• 确保RDS的results_women表结构与CSV列顺序、数据类型完全匹配，避免导入失败或数据错乱。
• 最低层级RDS实例资源有限，导入期间尽量暂停其他业务操作，防止资源耗尽导致导入中断。
• 70MB的CSV通过EC2导入，正常几分钟即可完成，远快于Workbench本地导入。

内容的提问来源于stack exchange，提问作者Revolucion for Monica