Python查询海量数据如何提速？百万级两表查询耗时800秒需降至300秒内

数据库侧优化 #

• 构建覆盖索引：你当前的tableA_created_idx仅包含created字段，查询时需要回表读取完整行数据。你已经调整为只查询必要字段，可直接创建联合覆盖索引，将所有需要查询的字段包含到索引中，例如需要查询id、content、created三个字段时，索引创建语句为CREATE INDEX idx_tablea_created_cover ON tableA (created, id, content)。调整后查询会直接走Index Only Scan，无需回表，查询速度可提升数倍。
• 对表按时间分区：如果日常查询多以created为过滤条件，可将两张表改为按created的范围分区表，查询时仅扫描对应时间范围的分区，无需遍历全表索引，数据量越大优化效果越明显。
• 调整数据库运行参数：如果使用PostgreSQL，可适当调大work_mem避免查询过程中缓存刷入磁盘，调大shared_buffers让高频访问的索引和数据缓存在内存中，减少磁盘IO开销。
• 提前预计算：如果后续处理逻辑固定，可创建定时刷新的物化视图，将关联、过滤、聚合等操作提前在数据库侧计算完成，查询时直接读取物化视图即可，耗时可降至秒级。

查询逻辑优化 #

• 避免无效的多进程拆分：你拆分多进程后超过2份不再提速，大概率是数据库侧的IO或CPU资源已经被打满，多个并发查询反而会互相抢占资源出现排队，甚至触发锁冲突拖慢整体速度，可配合数据库侧的资源监控调整拆分份数，不要盲目加并发。
• 处理逻辑下压到数据库：不要将全量数据拉到客户端再做关联、过滤、聚合等操作，尽量将这些逻辑写在SQL中，在数据库侧计算完成后再返回结果，可大幅减少数据传输量和客户端计算开销。比如需要关联两张表的结果，直接在SQL中写JOIN逻辑，不要拉两张表的全量数据到Python中做关联。
• 调整批次拉取大小：你当前fetchmany的批次是20000，可尝试上调到50000、100000，减少客户端和数据库的交互次数，注意不要超过客户端内存上限即可。

客户端侧优化 #

• 更换更高性能的数据库驱动：比如PostgreSQL可将psycopg2更换为psycopg3或asyncpg异步驱动，IO效率比传统同步驱动高很多。
• 减少不必要的日志输出：你代码中每拉取一批就打印一次日志，数据量大会产生不小的IO开销，测试稳定后可关闭打印，或调整为每10个批次打印一次。
• 使用更高效的数据传输方式：比如用数据库的COPY命令替代游标查询，直接将查询结果以二进制或CSV格式流式导出到客户端，速度比fetchmany快2~10倍。
• 查询和处理并行：不用等两张表的全量数据都拉取完成再做后续处理，可采用生产者消费者模式，拉取到一批数据就交给处理线程异步处理，充分利用CPU和IO资源。

内容的提问来源于stack exchange，提问作者zevcc