如何将单个SQL文件导入Pandas并按需提取指定数据表？

一、提取目标表到Pandas的方法 #

你的SQL文件超过73万行，直接全量读取会占用大量内存，推荐逐行匹配目标表的结构和插入语句，用正则筛选关键内容后转换成DataFrame，既高效又省内存。

1. 核心逻辑

• 匹配CREATE TABLE语句提取目标表的列名，作为DataFrame的表头
• 匹配INSERT INTO语句提取所有插入数据，解析成行数据
• 逐行读取文件，避免一次性加载整个大文件

2. 可直接复用的代码（大文件优化版）

import pandas as pd
import re

def extract_target_table(sql_file, table_name):
    columns = []
    data_rows = []
    # 匹配CREATE TABLE的起始行
    create_start_pattern = re.compile(rf'CREATE TABLE `{table_name}` \(')
    # 匹配INSERT INTO语句的起始部分
    insert_pattern = re.compile(rf'INSERT INTO `{table_name}` VALUES ')
    in_create_section = False

    with open(sql_file, 'r', encoding='utf-8') as f:
        for line in f:
            line = line.strip()
            # 捕获表结构部分
            if create_start_pattern.match(line):
                in_create_section = True
                continue
            if in_create_section:
                # 表结构结束标记
                if line.endswith(');'):
                    in_create_section = False
                    continue
                # 提取列名（匹配`列名`格式）
                col_match = re.search(r'`(.*?)`', line)
                if col_match:
                    columns.append(col_match.group(1))
            # 捕获插入数据部分
            if insert_pattern.match(line):
                # 提取VALUES后的所有数据行
                values_content = line.split('VALUES ')[1].rstrip(';')
                # 拆分每组括号里的行数据
                row_matches = re.findall(r'\((.*?)\)', values_content)
                for row in row_matches:
                    # 拆分字段，去除引号和转义字符
                    fields = [field.strip().strip("'\"").replace("''", "'") for field in row.split(',')]
                    data_rows.append(fields)
    
    # 转成DataFrame并尝试转换数据类型
    df = pd.DataFrame(data_rows, columns=columns)
    for col in df.columns:
        try:
            df[col] = pd.to_numeric(df[col])
        except ValueError:
            pass  # 字符串类型跳过转换
    return df

# 调用示例：替换成你的实际表名
inventory_df = extract_target_table('daily_backup.sql', 'inventory_table')
summary_df = extract_target_table('daily_backup.sql', 'summary_table')

二、如何选择要提取的表 #

作为SQL新手，按以下步骤筛选目标表：

1. 先导出备份文件里的所有表名
   用这段代码快速获取所有表名列表：

def get_all_tables(sql_file):
    table_names = set()
    table_pattern = re.compile(r'CREATE TABLE `(.*?)`')
    with open(sql_file, 'r', encoding='utf-8') as f:
        for line in f:
            match = table_pattern.search(line)
            if match:
                table_names.add(match.group(1))
    return list(table_names)

# 获取所有表名
all_tables = get_all_tables('daily_backup.sql')
print(all_tables)

2. 结合业务需求匹配表名

• 库存相关：找带inventory、stock、goods这类关键词的表
• 汇总/订单相关：找带summary、order_total、business_stats这类关键词的表
• 对照你需要的表结构示例，从表名列表里匹配最贴合的名字

3. 验证表内容（可选）
   如果不确定某个表是否符合需求，提取前10行数据查看：

test_df = extract_target_table('daily_backup.sql', '待验证的表名')
print(test_df.head(10))

注意事项 #

• 编码调整：如果读取时报编码错误，把encoding='utf-8'换成gbk或utf-8-sig
• 特殊字符处理：如果SQL里有其他转义字符，可补充对应替换逻辑
• 数据库适配：如果是PostgreSQL/SQLite备份，需微调正则（比如PostgreSQL表名用双引号而非反引号）

内容的提问来源于stack exchange，提问作者Felipe Pessoa Ruiz