Redshift查询加列超时，用LIMIT/OFFSET分页出现重复行如何解决

问题根源 #

用LIMIT+OFFSET分页出现重复行，本质是Redshift作为分布式数据库，未指定ORDER BY时，每次查询的结果集顺序不固定。偏移量OFFSET是基于当前结果集的行数偏移，顺序变化会导致前后页的行重复或遗漏。

解决方案 #

核心是给查询添加稳定且唯一的排序键，保证每次查询的结果集顺序完全一致，再配合分页逻辑。以下两种方案任选：

方案1：带稳定排序的LIMIT+OFFSET（适合中小数据量） #

找到表中能唯一标识行的列（或组合列），比如原查询中的a,b,c如果能唯一确定一行（原查询无重复行说明这三列组合唯一），就用它们作为排序键。

分页查询语句模板：

SELECT a, b, c, d
FROM table
WHERE a IN ('attribute1','attribute2')
ORDER BY a, b, c  -- 必须用唯一/组合唯一列，确保顺序绝对稳定
LIMIT 1000 OFFSET {offset_value}

Python循环逻辑：

import pandas as pd
import redshift_connector

conn = redshift_connector.connect(...)
df_list = []
offset = 0
page_size = 1000

while True:
    query = f"""
        SELECT a, b, c, d
        FROM table
        WHERE a IN ('attribute1','attribute2')
        ORDER BY a, b, c
        LIMIT {page_size} OFFSET {offset}
    """
    page_df = pd.read_sql(query, conn)
    if page_df.empty:
        break
    df_list.append(page_df)
    offset += page_size

final_df = pd.concat(df_list, ignore_index=True)

方案2：键值分页（适合大数据量，性能更优） #

OFFSET在偏移量较大时，Redshift需要扫描前面所有行，性能很差。键值分页通过上一页最后一行的排序键值作为查询条件，直接定位下一页数据，既避免重复，又提升性能。

分页查询语句模板（基于a,b,c组合唯一）：

首次查询：

SELECT a, b, c, d
FROM table
WHERE a IN ('attribute1','attribute2')
ORDER BY a, b, c
LIMIT 1000

后续查询（用上一页最后一行的a,b,c值）：

SELECT a, b, c, d
FROM table
WHERE a IN ('attribute1','attribute2')
AND (a > %s OR (a = %s AND b > %s) OR (a = %s AND b = %s AND c > %s))
ORDER BY a, b, c
LIMIT 1000

Python循环逻辑：

import pandas as pd
import redshift_connector

conn = redshift_connector.connect(...)
df_list = []
page_size = 1000
last_vals = None  # 存储上一页最后一行的(a,b,c)

while True:
    if last_vals is None:
        # 首次查询
        query = """
            SELECT a, b, c, d
            FROM table
            WHERE a IN ('attribute1','attribute2')
            ORDER BY a, b, c
            LIMIT %s
        """
        params = (page_size,)
    else:
        # 后续查询，用last_vals过滤
        query = """
            SELECT a, b, c, d
            FROM table
            WHERE a IN ('attribute1','attribute2')
            AND (a > %s OR (a = %s AND b > %s) OR (a = %s AND b = %s AND c > %s))
            ORDER BY a, b, c
            LIMIT %s
        """
        a, b, c = last_vals
        params = (a, a, b, a, b, c, page_size)
    
    page_df = pd.read_sql(query, conn, params=params)
    if page_df.empty:
        break
    df_list.append(page_df)
    # 更新last_vals为当前页最后一行的(a,b,c)
    last_row = page_df.iloc[-1]
    last_vals = (last_row['a'], last_row['b'], last_row['c'])

final_df = pd.concat(df_list, ignore_index=True)

注意事项 #

• 如果a,b,c组合不唯一，必须改用表的主键列（比如id）作为排序键，确保排序绝对稳定。
• 若表没有主键，可创建一个组合唯一索引，或用Redshift的ROW_NUMBER()函数生成唯一排序标识（但性能略差）。

内容的提问来源于stack exchange，提问作者Newl