如何从PostgreSQL获取滚动子集并导入Pandas DataFrame

Hey there! 我看你正在实现从PostgreSQL拉取指定数据子集到Pandas DataFrame的需求，我帮你把代码整理得更规范，同时补充一些实用细节和优化建议：

完整优化代码 #

import pandas as pd

# 设置查询的窗口行数
train_win = 10

# 构造可读性更强的SQL查询语句
stmt_stream = """
SELECT * 
FROM (
    SELECT 
        ROW_NUMBER() OVER (ORDER BY datetime) AS row_n,
        * 
    FROM table_test
) AS query 
WHERE query.row_n >= 1 AND query.row_n < 1 + {train_win} 
ORDER BY query.row_n;
""".format(train_win=train_win)

# 从PostgreSQL读取数据到DataFrame（eng是你已建立的数据库连接引擎）
df = pd.read_sql(stmt_stream, eng)

# 查看完整的查询结果（替代原df.head(n=len(df))的更简洁写法）
print(df.to_string())

# 删除不需要的辅助列和冗余列
df.drop(['row_n', 'year', 'date', 'itime'], axis=1, inplace=True)

# （可选）如果需要将datetime设为DataFrame索引，补充以下代码
df.set_index('datetime', inplace=True)

关键细节与优化点 #

• SQL语句可读性优化：把SQL拆成多行字符串，逻辑分层更清晰；用format()动态传入train_win参数，避免硬编码，后续调整窗口大小更方便。
• 数据查看优化：用print(df.to_string())替代df.head(n=len(df))，可以完整打印所有行数据，不用受head方法的限制。
• 列处理注意：如果不想直接修改原DataFrame，可以去掉inplace=True，改成df = df.drop(...)，保留原数据副本更安全。
• 性能优化建议：如果只是取前N行数据，其实可以不用窗口函数，直接用LIMIT语法更高效，SQL可以简化成：

  SELECT * 
  FROM table_test
  ORDER BY datetime
  LIMIT {train_win};
  

  这种写法在大数据量下性能更好，而且逻辑更简洁，推荐优先使用。

额外注意事项 #

• 确保eng是已经通过SQLAlchemy正确创建的PostgreSQL连接引擎（比如from sqlalchemy import create_engine; eng = create_engine('postgresql://user:password@host:port/dbname')）。
• 如果table_test表的数据量很大，建议给datetime列建立索引，能大幅提升排序和查询的速度。

内容的提问来源于stack exchange，提问作者eternity1