如何用Python实现Amazon Redshift与Excel表的ID内连接查询

你原代码的核心问题是直接把pandas Series通过%s占位符传入SQL，psycopg2的参数化查询不支持这种用法，会直接导致语法错误。另外，3万条ID用这种写法性能也会很差，下面给两种可行的解决方案：

方案1：参数化IN子句（适合中小规模ID） #

把Excel里的ID转成Python列表，动态生成对应数量的参数占位符，再传入查询：

import pandas as pd
import psycopg2

# 把Excel的ID列转成Python列表
id_list = df['id'].tolist()

def get_dataframe2():
    # 生成和ID数量匹配的占位符
    placeholders = ', '.join(['%s'] * len(id_list))
    query = f"""
        SELECT DISTINCT 
        t1.id, t1.value
        FROM table1 t1 
        WHERE t1.id IN ({placeholders})
    """
    with psycopg2.connect(dbname=database_, host=server_, user=username_, password=password_, port=port_) as conn:
        with conn.cursor() as cur:
            cur.execute(query, id_list)
            data = cur.fetchall()

    cols = ['id','value']
    return pd.DataFrame(data, columns=cols)

这种方式严格遵循参数化查询规范，避免SQL注入，同时能正确执行。但如果ID量超过10万，Redshift的IN子句可能会有性能瓶颈，这时优先选下面的临时表方案。

方案2：临时表连接（推荐3万条ID场景） #

先把Excel的ID批量导入Redshift临时表，再和大表做内连接，性能远优于IN子句：

import pandas as pd
import psycopg2
from psycopg2.extras import execute_values

def get_dataframe2():
    with psycopg2.connect(dbname=database_, host=server_, user=username_, password=password_, port=port_) as conn:
        with conn.cursor() as cur:
            # 创建临时表，注意字段类型要和table1.id完全一致（比如INT/VARCHAR）
            cur.execute("CREATE TEMP TABLE temp_ids (id2 VARCHAR)")
            
            # 把ID转成元组列表，用execute_values批量插入，效率极高
            id_tuples = [(str(id_val),) for id_val in df['id'].tolist()]
            execute_values(cur, "INSERT INTO temp_ids (id2) VALUES %s", id_tuples)
            
            # 执行内连接查询
            cur.execute("""
                SELECT DISTINCT 
                t1.id, t1.value
                FROM table1 t1 
                INNER JOIN temp_ids t2 ON t1.id = t2.id2
            """)
            data = cur.fetchall()

    cols = ['id','value']
    return pd.DataFrame(data, columns=cols)

注意事项：

• Redshift临时表是会话级的，会话结束自动销毁，无需手动清理
• 必须保证temp_ids.id2的类型和table1.id完全匹配，否则会出现类型不匹配错误
• execute_values是psycopg2专门用于批量插入的工具，比逐条插入快几十倍

内容的提问来源于stack exchange，提问作者Yasmine