如何使用dbf模块的索引及多条件查询函数优化查询效率？

问题背景 #

项目使用dbf模块操作DBF文件，表结构包含5个字段（ACKNO为主键）：

单字段查询（使用.index_search）正常，但多字段多条件查询存在严重性能问题：

• 列表推导式实现的查询，记录数超2000条时速度极慢
• 转换为Pandas DataFrame后查询，即使仅1000条记录也效率低下

希望利用dbf的索引机制，结合.index_search，通过query、search或index_search函数实现高效的多条件查询。

原实现代码 #

import dbf
import datetime
table = dbf.Table('inv.dbf', 'ACKNO N(12,0); INVNO N(8,0); INVDT D;  CTYPE C(1); DTYPE C(1);')
table.open(dbf.READ_WRITE)
for datum  in (
                (1000000001, 1001, dbf.Date(2023, 11, 23), 'A', 'I'),
                (1000000002, 1002, dbf.Date(2023, 11, 23), 'G', 'D'),
                (1000000003, 1003, dbf.Date(2023, 11, 23), 'G', 'I'),
                (1000000004, 1004, dbf.Date(2023, 11, 23), 'A', 'C'),
                (1000000005, 1005, dbf.Date(2023, 11, 23), 'G', 'C'),
                (1000000006, 1006, dbf.Date(2023, 11, 23), 'A', 'I'),
                (1000000007, 1007, dbf.Date(2023, 11, 23), 'G', 'D'),
                (1000000008, 1008, dbf.Date(2023, 11, 23), 'A', 'D'),
                (1000000009, 1009, dbf.Date(2023, 11, 24), 'G', 'I'),
                (1000000010, 1010, dbf.Date(2023, 11, 24), 'A', 'C'),
                (1000000011, 1011, dbf.Date(2023, 11, 24), 'A', 'I'),
                (1000000012, 1012, dbf.Date(2023, 11, 24), 'A', 'I'),
                (1000000013, 1013, dbf.Date(2023, 11, 24), 'N', 'D'),
                (1000000014, 1014, dbf.Date(2023, 11, 24), 'A', 'I'),
                (1000000015, 1015, dbf.Date(2023, 11, 25), 'A', 'C'),
                (1000000016, 1016, dbf.Date(2023, 11, 25), 'G', 'I'),
                (1000000017, 1017, dbf.Date(2023, 11, 25), 'A', 'I'),
                (1000000018, 1018, dbf.Date(2023, 11, 25), 'A', 'C'),
                (1000000019, 1019, dbf.Date(2023, 11, 25), 'A', 'D'),
                (1000000020, 1020, dbf.Date(2023, 11, 26), 'A', 'D'),
                (1000000021, 1021, dbf.Date(2023, 11, 26), 'G', 'I'),
                (1000000022, 1022, dbf.Date(2023, 11, 26), 'N', 'D'),
                (1000000023, 1023, dbf.Date(2023, 11, 26), 'A', 'I'),
                (1000000024, 1024, dbf.Date(2023, 11, 26), 'G', 'D'),
                (1000000025, 1025, dbf.Date(2023, 11, 26), 'N', 'I'),
                ):
    table.append(datum)

# 列表推导式实现查询，记录超2000条时速度极慢
records = [rec for rec in table if (rec.INVDT == datetime.datetime.strptime('23-11-2023','%d-%m-%Y').date())
           & (rec.CTYPE == "A") & (rec.DTYPE == "I")]

for row in records:                    
    print(row[0], row[1], row[2], row[3], row[4])
    
table.close()

优化方案 #

1. 使用dbf.query函数 #

dbf.query支持类SQL查询语法，会自动利用已建立的索引缩小查询范围，避免全表扫描。

代码示例：

import dbf
import datetime

table = dbf.Table('inv.dbf')
table.open(dbf.READ_ONLY)

# 为查询字段创建复合索引（仅需执行一次，后续操作可跳过）
dbf.create_index(table, ['INVDT', 'CTYPE', 'DTYPE'])

# 匹配dbf内部日期类型，避免转换损耗
target_date = dbf.Date(2023, 11, 23)
# 执行多条件查询
records = dbf.query(table, "INVDT = ? AND CTYPE = ? AND DTYPE = ?", target_date, 'A', 'I')

for row in records:
    print(row.ACKNO, row.INVNO, row.INVDT, row.CTYPE, row.DTYPE)

table.close()

2. 使用dbf.search函数 #

先通过index_search定位到单个条件的记录范围，再用search进行二次过滤，减少需要检查的记录数。

代码示例：

import dbf
import datetime

table = dbf.Table('inv.dbf')
table.open(dbf.READ_ONLY)

target_date = dbf.Date(2023, 11, 23)
# 先定位目标日期的记录起止位置
start_pos, end_pos = table.index_search(target_date, field='INVDT')
# 在范围内过滤剩余条件
records = dbf.search(lambda rec: rec.CTYPE == 'A' and rec.DTYPE == 'I', table, start=start_pos, end=end_pos)

for row in records:
    print(row.ACKNO, row.INVNO, row.INVDT, row.CTYPE, row.DTYPE)

table.close()

3. 结合复合索引的index_search #

如果已创建复合索引，可直接通过index_search定位到完全匹配多条件的记录段，效率最高。

代码示例：

import dbf
import datetime

table = dbf.Table('inv.dbf')
table.open(dbf.READ_ONLY)

# 确保复合索引已创建
dbf.create_index(table, ['INVDT', 'CTYPE', 'DTYPE'])

# 构造复合查询键，顺序需与索引字段一致
target_key = (dbf.Date(2023, 11, 23), 'A', 'I')
# 定位匹配记录的起止位置
start_pos, end_pos = table.index_search(target_key, field=['INVDT', 'CTYPE', 'DTYPE'])

# 遍历匹配范围内的记录
for row in table[start_pos:end_pos+1]:
    print(row.ACKNO, row.INVNO, row.INVDT, row.CTYPE, row.DTYPE)

table.close()

关键注意事项 #

• 索引仅需创建一次，重复创建会额外消耗资源
• 优先使用dbf.Date类型而非Python原生date，避免类型转换的性能损耗
• 复合索引的字段顺序必须与查询条件的顺序一致，才能最大化索引效率

内容的提问来源于stack exchange，提问作者Ravi Kannan