如何用Python实现向Presto DB批量插入数据

针对你处理Excel/CSV数据后导入Presto的场景，以下是几个比循环INSERT更优雅且高效的方案：

方案1：用Pandas to_sql + SQLAlchemy Trino连接器 #

这是最简洁的实现方式，依托Pandas原生批量写入能力，无需手动拼接SQL。

步骤： #

1. 安装依赖：

pip install pandas sqlalchemy trino

2. 代码示例：

import pandas as pd
from sqlalchemy import create_engine

# 读取并转换数据到DataFrame（保留你的现有处理逻辑）
df = pd.read_excel("your_data.xlsx")
# ... 数据转换操作 ...

# 创建Presto/Trino连接引擎
engine = create_engine("trino://username@host:port/catalog/schema")

# 批量写入Presto
df.to_sql(
    name="target_table",
    con=engine,
    if_exists="append",  # 按需选择replace/append/fail
    index=False,
    chunksize=10000,  # 按内存情况调整 chunk 大小
    method="multi"  # 启用多值INSERT，大幅提升写入效率
)

该方法会自动生成批量INSERT语句，method="multi"让每个chunk对应单条多值INSERT，比循环单条插入效率提升数倍。

方案2：手动生成批量INSERT语句 #

如果需要自定义SQL逻辑，可手动拼接多值INSERT语句并一次性执行：

import pandas as pd
from trino.dbapi import connect

# 处理数据到DataFrame
df = pd.read_csv("your_data.csv")
# ... 数据转换 ...

# 连接Presto
conn = connect(
    host="your_presto_host",
    port=8080,
    user="your_username",
    catalog="your_catalog",
    schema="your_schema"
)
cursor = conn.cursor()

# 生成列名和值列表
columns = ", ".join(df.columns)
values = [tuple(row) for row in df.to_numpy()]

# 分块拼接批量INSERT（避免单条SQL过长）
chunk_size = 10000
for i in range(0, len(values), chunk_size):
    chunk_values = values[i:i+chunk_size]
    placeholders = ", ".join(["(" + ", ".join(["%s"]*len(df.columns)) + ")" for _ in chunk_values])
    sql = f"INSERT INTO target_table ({columns}) VALUES {placeholders}"
    cursor.execute(sql, [item for sublist in chunk_values for item in sublist])
    conn.commit()

# 关闭连接
cursor.close()
conn.close()

这种方式通过单条SQL插入多行数据，比循环单条INSERT效率高很多，适合需要灵活控制SQL的场景。

方案3：利用Presto外部表导入（超大数据量） #

如果数据量极大，建议先将DataFrame导出为CSV，上传到Presto可访问的存储（如S3、HDFS），再通过外部表直接导入：

1. 将DataFrame导出为CSV：

df.to_csv("temp_data.csv", index=False)
# 上传到Presto可访问的存储（如S3，根据你的环境执行上传逻辑）

2. 在Presto中执行导入：

INSERT INTO target_table
SELECT * FROM CSV('s3://your-bucket/temp_data.csv', header=true);

这种方式完全利用Presto的分布式导入能力，性能最优，适合TB级别的数据量。

内容的提问来源于stack exchange，提问作者clex