如何快速将Covid 19数据集导入MySQL Workbench？

1. 先预处理数据集 #

• 拆分超大CSV：如果你的数据集是单个几GB的大文件，先用工具（比如Python脚本、Excel拆分功能或专门的CSV拆分工具）拆分成多个100MB以内的小文件，降低单次导入的压力。
• 清理格式：删除冗余空行，转义字段内的特殊字符（比如未闭合的引号、字段内换行符），避免导入时触发格式校验拖慢速度。

2. 使用LOAD DATA INFILE原生命令（最快捷） #

这是MySQL原生的批量导入命令，比Workbench图形界面快5-10倍，操作步骤如下：

1. 开启本地文件导入权限：

   SET GLOBAL local_infile = 1;
   

   如果执行失败，需修改MySQL配置文件（my.cnf/my.ini），添加local_infile=1后重启服务。
2. 创建匹配的表结构（用合适的字段类型，避免全用VARCHAR）：
   针对常见的COVID-19数据集（日期、地区、病例数等字段），示例表结构：

   CREATE TABLE covid_stats (
       record_date DATE NOT NULL,
       location VARCHAR(80) NOT NULL,
       new_cases INT DEFAULT 0,
       new_deaths INT DEFAULT 0,
       total_cases BIGINT DEFAULT 0,
       total_deaths BIGINT DEFAULT 0,
       PRIMARY KEY (record_date, location)
   );
   

3. 临时关闭约束和索引提速，执行导入：

   -- 临时关闭外键约束和索引
   SET FOREIGN_KEY_CHECKS = 0;
   ALTER TABLE covid_stats DISABLE KEYS;
   
   -- 导入CSV，替换成你的实际文件路径
   LOAD DATA LOCAL INFILE '/Users/xxx/Downloads/covid_data_part1.csv'
   INTO TABLE covid_stats
   FIELDS TERMINATED BY ',' 
   ENCLOSED BY '"'
   LINES TERMINATED BY '\n'
   IGNORE 1 ROWS; -- 跳过表头行
   
   -- 恢复约束和索引
   ALTER TABLE covid_stats ENABLE KEYS;
   SET FOREIGN_KEY_CHECKS = 1;
   

   重复上述导入命令处理拆分后的所有小文件即可。

3. 临时调整MySQL配置优化写入性能 #

导入前执行以下命令，提升批量写入速度：

-- 增大批量插入缓冲区（设为256MB）
SET GLOBAL bulk_insert_buffer_size = 268435456;
-- 降低事务日志刷新频率（导入后改回1保证数据安全）
SET GLOBAL innodb_flush_log_at_trx_commit = 2;
-- 启用连续自增锁模式，适配批量插入场景
SET GLOBAL innodb_autoinc_lock_mode = 2;

4. 若坚持用Workbench导入向导的优化技巧 #

如果不想用命令行，使用Workbench的「Table Data Import Wizard」时注意：

• 勾选「Use bulk insert for loading data」选项（部分版本在高级设置面板）
• 导入前手动禁用目标表的索引和外键约束，完成后再重建
• 不要实时刷新导入进度，让后台运行，避免界面渲染拖慢进程

注意事项 #

• 先导入小样本测试表结构是否匹配，避免大文件导入到一半出错
• 导入完成后记得把MySQL配置改回默认值（比如innodb_flush_log_at_trx_commit=1），保证数据安全性

内容的提问来源于stack exchange，提问作者Terence Ochuo