如何将含40万数据的TXT文件导入phpMyAdmin/MySQL数据库？

针对MySQL的操作步骤 #

1. 创建目标数据库（若未存在）

CREATE DATABASE IF NOT EXISTS dataflow;
USE dataflow;

2. 根据CSV首行生成建表语句
   MySQL原生导入命令无法自动建表，你可以基于首行列名手动创建适配的表（考虑数据长度，建议给字段设置足够的存储长度）：

CREATE TABLE IF NOT EXISTS your_table_name (
    row1 VARCHAR(50),
    row2 VARCHAR(50),
    row3 VARCHAR(50)
);

如果需要快速自动生成建表语句，可借助Python脚本：

with open('data.txt', 'r') as f:
    headers = f.readline().strip().split(',')
create_sql = f"CREATE TABLE IF NOT EXISTS your_table_name ({', '.join([f'{col} VARCHAR(50)' for col in headers])});"
print(create_sql)

3. 批量导入数据

LOAD DATA LOCAL INFILE '/绝对路径/data.txt'
INTO TABLE your_table_name
FIELDS TERMINATED BY ','
IGNORE 1 LINES; -- 跳过首行列名行

注意：若使用服务器端文件路径，需移除LOCAL关键字，并确保MySQL服务端配置开启local_infile=1，同时数据库用户拥有文件读取权限。

针对PostgreSQL的操作步骤 #

1. 创建并切换到目标数据库

CREATE DATABASE IF NOT EXISTS dataflow;
\c dataflow;

2. 创建对应表结构

CREATE TABLE IF NOT EXISTS your_table_name (
    row1 VARCHAR(50),
    row2 VARCHAR(50),
    row3 VARCHAR(50)
);

3. 执行导入命令

\copy your_table_name FROM '/绝对路径/data.txt' DELIMITER ',' CSV HEADER;

若使用服务器端文件，替换为COPY命令即可，需确保文件路径对PostgreSQL服务端可见。

针对SQLite的操作步骤 #

SQLite适合轻量场景，40万条数据可轻松处理：

1. 打开目标数据库文件

sqlite3 dataflow.db

2. 建表并导入数据

CREATE TABLE IF NOT EXISTS your_table_name (row1 TEXT, row2 TEXT, row3 TEXT);
.mode csv
.import '/绝对路径/data.txt' your_table_name

建表后导入会自动匹配列名，无需额外处理首行。

常见导入错误排查 #

• 权限问题：确认数据库用户拥有文件读取权限，或文件路径对服务端可见
• 字段长度不足：若出现数据截断，调整表字段的VARCHAR或TEXT存储长度
• 换行符异常：可在导入命令中指定LINES TERMINATED BY '\n'（或'\r\n'）适配不同换行格式
• 特殊字符干扰：若数据包含引号，可添加OPTIONALLY ENCLOSED BY '"'参数处理

内容的提问来源于stack exchange，提问作者programming freak