如何用Python将多文本文件构建为数据库并实现快速能量值查询？

用Python自带的SQLite就能解决这个问题，不用额外部署数据库服务，全程用Python代码完成数据导入和查询，步骤如下：

1. 创建数据库并批量导入所有文件数据 #

先把上千个文件里的能量值和对应文件名存入数据库，后续查询直接从数据库取数据：

import sqlite3
import os

# 数据库文件路径（不存在会自动创建）
db_path = 'energy_database.db'
# 存放能量值文件的目标文件夹路径
target_dir = './energy_files'

# 连接数据库
conn = sqlite3.connect(db_path)
cursor = conn.cursor()

# 创建存储表：字段为能量值（浮点型）和文件名（文本型）
cursor.execute('''
CREATE TABLE IF NOT EXISTS energy_data (
    value REAL,
    filename TEXT
)
''')

# 给能量值字段加索引，大幅提升后续查询速度
cursor.execute('CREATE INDEX IF NOT EXISTS idx_energy_value ON energy_data(value);')

# 批量收集所有文件的能量值数据
data_to_insert = []
for filename in os.listdir(target_dir):
    if filename.endswith('.txt'):  # 按实际文件格式调整后缀
        file_path = os.path.join(target_dir, filename)
        with open(file_path, 'r') as f:
            for line in f:
                line = line.strip()
                if line:  # 跳过空行
                    try:
                        energy_val = float(line)
                        data_to_insert.append( (energy_val, filename) )
                    except ValueError:
                        print(f"跳过文件{filename}中的无效行：{line}")

# 批量插入数据（比逐条插入效率高10倍以上）
if data_to_insert:
    cursor.executemany('INSERT INTO energy_data (value, filename) VALUES (?, ?)', data_to_insert)
    conn.commit()

# 关闭数据库连接
cursor.close()
conn.close()

2. 查询指定能量值的对应文件 #

读取待查询的能量值列表，直接从数据库快速匹配：

import sqlite3

# 数据库路径
db_path = 'energy_database.db'
# 待查询能量值的文件路径
query_file_path = './query_energies.txt'

# 连接数据库
conn = sqlite3.connect(db_path)
cursor = conn.cursor()

# 读取待查询的能量值
query_values = []
with open(query_file_path, 'r') as f:
    for line in f:
        line = line.strip()
        if line:
            try:
                query_values.append(float(line))
            except ValueError:
                print(f"跳过查询文件中的无效行：{line}")

# 逐个查询并输出结果
for val in query_values:
    # 用ROUND处理浮点数精度问题（避免因存储精度导致匹配失败），可根据数据精度调整保留位数
    cursor.execute('SELECT filename, value FROM energy_data WHERE ROUND(value, 5) = ROUND(?, 5)', (val,))
    results = cursor.fetchall()
    if results:
        print(f"找到能量值{val}:")
        for filename, value in results:
            print(f"  文件：{filename}，对应值：{value}")
    else:
        print(f"未找到能量值{val}")

# 关闭连接
cursor.close()
conn.close()

关键细节说明 #

• 浮点数精度：由于浮点数存储可能存在微小误差（比如6.36271存为6.362709999999999），查询时用ROUND函数统一保留小数位数，避免匹配失败。
• 索引优化：给value字段加索引后，查询速度会从线性扫描变为索引查找，上千条数据的查询能瞬间完成。
• 批量插入：用executemany替代逐条INSERT，减少数据库IO次数，导入速度会大幅提升。

内容的提问来源于stack exchange，提问作者saimon