如何优化代码减少数据库查询次数？单Item查询达60-90次

针对嵌套循环导致大量数据库查询的性能问题，结合你无法创建本地模式、必须获取每个Item属性数据的限制，以下是可行的优化方案：

1. 批量查询替代单次查询 #

先遍历所有Item和属性，收集所有需要查询的属性唯一标识（比如属性ID），然后一次性发起批量查询获取所有属性的详情数据，最后在内存中将属性数据匹配到对应的Item和属性上。这样能把几百次查询减少到1-2次，大幅降低数据库交互开销。

示例思路：

# 第一步：收集所有需要查询的属性ID
all_attribute_ids = set()
for item in ITEMlist:
    for attribute in item:
        all_attribute_ids.add(attribute.id)

# 第二步：批量查询所有属性数据
attribute_data_map = queryAllAttributeDataFromDB(list(all_attribute_ids))  # 假设支持批量查询，返回{属性ID: 属性详情}的字典

# 第三步：内存中匹配数据
for item in ITEMlist:
    for attribute in item:
        attribute.detail = attribute_data_map.get(attribute.id)

2. 利用内置表做联合查询 #

检查是否有内置的关联表或支持JOIN的查询方式，直接通过一次查询获取所有目标Item对应的所有属性详情。比如如果存在Item表与属性表的关联字段（比如Item ID），可以构造包含JOIN的查询语句，一次性拉取所有需要的Item-属性对数据，避免循环查询。

示例思路（假设SQL查询场景）：

SELECT i.item_id, a.attribute_id, a.detail 
FROM item_table i
JOIN attribute_table a ON i.item_id = a.item_id
WHERE i.item_id IN (/* 目标Item ID列表 */)

查询结果返回后，直接在内存中按Item和属性分组即可。

3. 内存缓存复用已查询数据 #

如果属性数据属于低频更新的静态数据，可以在内存中维护一个缓存字典，将已经查询过的属性详情存储起来，后续遇到相同属性时直接从缓存读取，无需重复查询数据库。

示例思路：

attribute_cache = {}

for item in ITEMlist:
    for attribute in item:
        attr_id = attribute.id
        if attr_id not in attribute_cache:
            attribute_cache[attr_id] = queryAttributeDataFromDB(attr_id)
        attribute.detail = attribute_cache[attr_id]

注意：如果属性数据会频繁更新，需要根据业务场景设置缓存过期机制，或者确保数据时效性符合要求。

4. 优化单条查询的性能 #

检查当前queryAttributeDataFromDB的实现，做以下优化：

• 只查询需要的字段：避免使用SELECT *，明确指定需要的属性字段，减少数据库数据处理和网络传输量。
• 利用现有索引：确保查询条件（比如属性ID）用到了内置表的索引，提升单条查询的执行速度。

5. 并行化批量查询 #

如果数据库支持高并发查询，且业务允许，可以将批量属性ID分成多个小批次，并行发起查询，减少总的等待时间。比如将100个属性ID分成5个批次，每个批次20个，同时执行查询，相比串行查询能节省大量时间。

注意：并行次数需控制在合理范围，避免给数据库造成过大压力。

内容的提问来源于stack exchange，提问作者Harshit