PostgreSQL 12与Pandas子查询优化：新增ticker查询性能问题咨询

问题1：原SQL写法效率及更优实现 #

原写法属于关联子查询，执行时会为外层查询的每一行都单独执行一次子查询，时间复杂度接近O(n²)，5.6万行数据跑1分钟属于该类写法的典型性能问题，效率很低。

更优的实现可以用窗口函数直接取每个ticker的首次出现日期，仅需单次全表扫描即可完成计算，性能提升非常明显，参考写法如下：

SELECT trade_date, ticker, company_name
FROM (
    SELECT 
        trade_date, ticker, company_name,
        -- 按ticker分组取最小交易日期，也就是该标的首次出现的日期
        MIN(trade_date) OVER (PARTITION BY ticker) AS first_trade_date
    FROM t_ark_holdings
) AS t
WHERE trade_date = first_trade_date
ORDER BY trade_date DESC, ticker, company_name;

该写法不需要额外加DISTINCT去重，每个ticker只会返回首次出现的那一条记录，完全符合新增ticker的筛选逻辑。

问题2：是否需要添加索引 #

非常有必要添加联合索引，根据常用的查询逻辑，推荐创建覆盖索引：

• 若使用上述窗口函数写法，推荐创建 (ticker, trade_date, company_name) 联合索引，匹配PARTITION BY的分组逻辑，同时覆盖查询需要的所有字段，不需要回表取数。
• 若保留原有写法，推荐创建 (trade_date, ticker) 联合索引，加速子查询的日期过滤逻辑。
  添加索引后查询耗时可降到毫秒级。

问题3：改用Pandas是否能提升效率 #

短时间内数据量在百万级以内时，把全量数据同步到本地用Pandas处理可能会得到不错的性能，但长期来看不推荐这种方案：

• 数据量增长到千万级以上时，全量数据会占用大量内存，Pandas无法直接处理，而数据库可以通过分布式部署、索引优化等方式持续支撑。
• 每次跑数都要拉取全量表数据，会占用大量数据库带宽和传输时间，远不如直接在数据库侧执行查询只返回结果集高效。
• 数据一致性难保障，本地计算的结果和数据库实时数据容易出现偏差。
  优先优化数据库侧的SQL和索引就能满足长期的性能需求，不需要迁移到Pandas处理。

内容的提问来源于stack exchange，提问作者Je Je