如何无需计数器批量处理LDAP查询结果（每1000条）入库？

你当前通过循环单个用户+计数器拼接SQL的方式效率偏低，完全可以利用生成器分组的方式，不用手动维护计数器，直接批量处理每1000条数据。

优化思路 #

既然LDAP查询已经设置了paged_size=1000，我们可以把返回的生成器按每1000条为一组进行批量处理，既省去计数器的维护，还能通过批量SQL操作进一步提升效率。

实现代码 #

首先写一个通用的生成器分组函数，用来把逐个返回的条目打包成指定大小的组：

def chunk_generator(gen, chunk_size):
    chunk = []
    for item in gen:
        chunk.append(item)
        if len(chunk) == chunk_size:
            yield chunk
            chunk = []
    # 处理最后一组不足chunk_size的条目
    if chunk:
        yield chunk

然后用这个函数处理LDAP查询结果，直接批量处理每组数据：

users = conn.extend.standard.paged_search(ldapquery, paged_size=1000, generator=True)

# 按每1000条为一组循环处理
for user_group in chunk_generator(users, 1000):
    # 这里替换成你的批量SQL处理逻辑，比如生成批量INSERT语句
    # 示例：拼接批量插入SQL并执行
    sql = build_batch_insert_sql(user_group)
    executeSQL(sql)

额外优化建议 #

如果你的数据库支持批量插入语法（比如MySQL的INSERT INTO table (col1, col2) VALUES (...), (...), ...），或者使用的ORM提供批量创建方法（比如Django的bulk_create），一定要用这种方式替代逐个拼接SQL，这会大幅提升数据库写入效率。

内容的提问来源于stack exchange，提问作者user13520940