pandas如何从Postgresql中仅加载所需部分表数据提升读取速度

完全可以只导入上周对应的表数据片段，核心思路是把日期过滤逻辑下推到Postgresql侧执行，只返回符合时间范围的行，避免全表扫描和全量数据传输，具体实现方法如下：

方法1：使用read_sql_query写带过滤条件的原生SQL（最推荐，性能最优） #

这是最直接高效的方式，你只需要提前计算好上周的时间边界，在SQL中写好日期字段的过滤条件，数据库会自动完成筛选，仅返回你需要的上周数据。
示例代码如下，注意把代码里的report_date替换成你表中实际的日期类型字段名：

import pandas as pd
from sqlalchemy import create_engine
from datetime import datetime, timedelta

# 初始化数据库连接
engine = create_engine('postgresql://user:1234!!!!@11.12.13.14/DB')

# 计算上周的时间范围：上周一00:00:00 到 上周日23:59:59
today = datetime.today()
last_week_start = today - timedelta(days=today.weekday() + 7)
last_week_end = last_week_start + timedelta(days=6, hours=23, minutes=59, seconds=59)

# 构造带日期过滤的参数化SQL
filter_sql = """
SELECT * FROM young
WHERE report_date BETWEEN %(start)s AND %(end)s
"""

# 执行查询，参数化传值避免SQL注入，同时自动适配日期类型格式
df = pd.read_sql_query(
    sql=filter_sql,
    con=engine,
    params={"start": last_week_start, "end": last_week_end}
)

方法2：搭配SQLAlchemy表表达式用read_sql查询（无需手写原生SQL） #

如果你不想手写原生SQL，可以先加载表的元数据，用SQLAlchemy的语法构造过滤条件，再传给pandas读取，本质和方法1一样，都是在数据库侧完成过滤：

from sqlalchemy import MetaData, Table

# 加载目标表元数据
metadata = MetaData()
young_tbl = Table("young", metadata, autoload_with=engine)

# 构造带日期过滤的查询语句，替换report_date为实际日期字段名
query = young_tbl.select().where(
    young_tbl.c.report_date.between(last_week_start, last_week_end)
)

df = pd.read_sql(sql=query, con=engine)

注意事项 #

• 绝对不要先全量读表再在pandas里做日期过滤，那样完全省不下全表扫描和数据传输的耗时，和你现在的写法没有区别
• 如果表上的日期字段建有索引，上述过滤查询的耗时会远低于当前全量读取的10秒
• 时间参数请用参数化方式传入，不要直接拼接在SQL字符串里，避免SQL注入风险和日期格式不兼容问题

内容的提问来源于stack exchange，提问作者maciej.o