如何在Python中存储表格数据并支持多索引高效查询？

问题背景 #

从数据库读取如下结构的用户数据：

目前已实现用字典按id高效查询，但需要额外支持按timestamp的O(1)查询，优先使用Python内置类型，避免外部库。

解决方案：维护双字典索引 #

Python的dict本身是哈希表，查询复杂度为O(1)，可以通过维护主数据字典+时间戳索引字典的方式实现需求，同时要注意处理timestamp可能重复的场景。

方案1：主数据字典+时间戳到完整数据的映射

读取数据时同时构建两个字典，一个用id作为键存储完整用户数据，另一个用timestamp作为键，值为对应用户的列表（处理重复时间戳）：

people_by_id = {}
people_by_timestamp = {}

cursor = self.db.query("SELECT * FROM people")
rows = cursor.fetchall()
for row in rows:
    # 按id存储主数据
    people_by_id[row.id] = row
    # 构建时间戳索引，处理重复值
    if row.timestamp not in people_by_timestamp:
        people_by_timestamp[row.timestamp] = []
    people_by_timestamp[row.timestamp].append(row)

查询示例

• 按id查询（原有逻辑）：

target_id = 123
if target_id in people_by_id:
    print(f"id为{target_id}的用户姓名是{people_by_id[target_id].name}")
else:
    print(f"未找到id为{target_id}的用户")

• 按timestamp查询：

target_ts = 324234234
if target_ts in people_by_timestamp:
    users = people_by_timestamp[target_ts]
    print(f"时间戳{target_ts}对应的用户有：")
    for user in users:
        print(f"- id: {user.id}, 姓名: {user.name}")
else:
    print(f"未找到时间戳为{target_ts}的用户")

方案2：主数据字典+时间戳到ID的映射（节省内存）

如果数据量较大，可选择让索引字典只存储id而非完整数据，查询时通过id再从主字典获取详情，减少内存占用：

people_by_id = {}
timestamp_to_ids = {}

cursor = self.db.query("SELECT * FROM people")
rows = cursor.fetchall()
for row in rows:
    people_by_id[row.id] = row
    if row.timestamp not in timestamp_to_ids:
        timestamp_to_ids[row.timestamp] = []
    timestamp_to_ids[row.timestamp].append(row.id)

查询示例

target_ts = 756756746
if target_ts in timestamp_to_ids:
    user_ids = timestamp_to_ids[target_ts]
    print(f"时间戳{target_ts}对应的用户：")
    for user_id in user_ids:
        user = people_by_id[user_id]
        print(f"- id: {user.id}, 姓名: {user.name}")
else:
    print(f"未找到时间戳为{target_ts}的用户")

关键注意事项 #

• 重复时间戳处理：必须用列表存储同一时间戳对应的所有用户，否则后续数据会覆盖之前的记录。
• 数据一致性：如果后续需要更新或删除数据，必须同时更新两个字典，否则会出现索引与主数据不匹配的问题。
• 内存权衡：双字典会增加内存开销，但对于绝大多数Python应用场景来说，这种开销是可接受的。

内容的提问来源于stack exchange，提问作者MarcoS