如何筛选并导入超大型XML/CSV文件至MySQL/SQL Server？

核心思路：先筛选再导入 #

直接全量导入大文件容易触发内存不足、超时等问题，先提取目标品牌数据生成小文件，再导入数据库是最高效的方案，也可以通过数据库内置的导入工具直接在导入阶段筛选。

一、预处理：用命令行/工具筛选目标数据 #

针对CSV文件

• Linux/macOS：用awk或grep快速筛选，假设品牌在第3列，目标品牌为Apple：

  # awk按列筛选（逗号分隔）
  awk -F ',' '$3 == "Apple"' input.csv > filtered_apple.csv
  
  # grep匹配包含目标品牌的行（适合品牌列无重复值的场景）
  grep '"Apple"' input.csv > filtered_apple.csv
  

• Windows：用PowerShell筛选（需确保CSV有表头，比如Brand列）：

  Import-Csv .\input.csv | Where-Object { $_.Brand -eq "Apple" } | Export-Csv .\filtered_apple.csv -NoTypeInformation
  

针对XML文件

用xmlstarlet（轻量XML处理工具）提取包含目标品牌的节点，假设XML结构为<products><product><brand>Apple</brand>...</product></products>：

xmlstarlet sel -t -c "/products/product[brand='Apple']" input.xml > filtered_apple.xml

如果没有xmlstarlet，也可以用Python/Java脚本流式解析XML（见下文），避免加载整个文件到内存。

二、MySQL 直接导入+筛选（无需预处理） #

如果不想预处理文件，可利用LOAD DATA的WHERE clause直接在导入阶段过滤：

CSV文件导入

LOAD DATA INFILE '/path/to/input.csv'
INTO TABLE products
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS -- 跳过表头
(@id, @name, @brand, @price)
SET id = @id, name = @name, brand = @brand, price = @price
WHERE @brand = 'Apple';

注意：需确保MySQL的secure_file_priv配置允许读取目标文件，若权限不足，可改用LOAD DATA LOCAL INFILE（需开启客户端本地导入权限）。

XML文件流式导入（用Python脚本）

避免一次性加载大XML到内存，用流式解析逐节点插入：

import mysql.connector
import xml.etree.ElementTree as ET

# 连接数据库
db = mysql.connector.connect(
    host="localhost",
    user="your_user",
    password="your_pass",
    database="your_db"
)
cursor = db.cursor()

# 流式解析XML
context = ET.iterparse("input.xml", events=("end",))
for event, elem in context:
    if elem.tag == "product":
        brand = elem.find("brand").text
        if brand == "Apple":
            # 提取所需字段
            product_id = elem.find("id").text
            name = elem.find("name").text
            # 插入数据库
            cursor.execute(
                "INSERT INTO products (id, name, brand) VALUES (%s, %s, %s)",
                (product_id, name, brand)
            )
            db.commit()
    # 清理节点释放内存
    elem.clear()
    while elem.getprevious() is not None:
        del elem.getparent()[0]

cursor.close()
db.close()

三、SQL Server 直接导入+筛选 #

CSV文件导入

可以先导入临时表，再筛选插入目标表：

-- 创建临时表
CREATE TABLE #TempProducts (
    id INT,
    name VARCHAR(255),
    brand VARCHAR(100),
    price DECIMAL(10,2)
)

-- 批量导入CSV到临时表
BULK INSERT #TempProducts
FROM 'C:\path\to\input.csv'
WITH (
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n',
    FIRSTROW = 2 -- 跳过表头
)

-- 筛选目标品牌插入正式表
INSERT INTO Products (id, name, brand, price)
SELECT id, name, brand, price
FROM #TempProducts
WHERE brand = 'Apple'

-- 删除临时表
DROP TABLE #TempProducts

也可以用OPENROWSET直接筛选（需先生成格式文件）：

-- 用bcp生成格式文件（命令行执行）
bcp your_db.dbo.Products format nul -c -f C:\path\to\format.fmt -t, -T

-- 直接筛选导入
INSERT INTO Products (id, name, brand, price)
SELECT id, name, brand, price
FROM OPENROWSET(
    BULK 'C:\path\to\input.csv',
    FORMATFILE = 'C:\path\to\format.fmt',
    FIRSTROW = 2
) AS csv_data
WHERE csv_data.brand = 'Apple'

XML文件导入

用XQuery直接筛选XML节点，若文件过大，建议先预处理：

DECLARE @xml XML
-- 读取XML文件到变量
SELECT @xml = BulkColumn
FROM OPENROWSET(BULK 'C:\path\to\input.xml', SINGLE_BLOB) AS x

-- 筛选目标品牌节点插入数据库
INSERT INTO Products (id, name, brand)
SELECT
    product.value('(id)[1]', 'INT'),
    product.value('(name)[1]', 'VARCHAR(255)'),
    product.value('(brand)[1]', 'VARCHAR(100)')
FROM @xml.nodes('/products/product[brand="Apple"]') AS x(product)

通用优化建议 #

• 调整数据库参数：MySQL可增大max_allowed_packet、innodb_buffer_pool_size；SQL Server可调整bulk_insert_batch_size减少日志开销。
• 关闭索引/约束：导入前临时关闭目标表的索引和外键约束，导入完成后重建，提升导入速度。
• 分批插入：用脚本处理时，每插入N条数据提交一次事务，避免单次事务过大。

内容的提问来源于stack exchange，提问作者user15122569