Databricks中Snowflake表执行toPandas()较AZSQL耗时久、内存占用过高问题

性能差异根因 #

• 序列化开销差异：Snowflake默认驱动对数值、时间类型的序列化封装冗余度远高于AZSQL的ODBC驱动，相同表结构下，Snowflake返回的序列化数据体积是AZSQL的2-5倍，直接拉长传输耗时，同时类型解析阶段会占用额外内存。
• 结果集拉取逻辑差异：AZSQL默认开启流式分批拉取，转换pandas的过程中仅需持有当前批次数据，峰值内存占用低；Snowflake默认会将全量结果集先缓存到节点内存/本地磁盘后再做类型转换，峰值内存占用为最终pandas DataFrame内存的3-4倍，小集群极易触发OOM。

可落地优化措施 #

• 调整Snowflake连接核心参数，开启分批拉取、降低序列化开销：

# 创建Snowflake连接时添加以下优化参数
import snowflake.connector
conn = snowflake.connector.connect(
    # 原有连接配置保留
    user="your_user",
    password="your_pwd",
    account="your_account",
    # 优化参数
    array_fetch_size=10000,  # 每批拉取行数，可根据表宽调整
    client_result_chunk_size=8*1024*1024,  # 单数据块大小设为8MB
    numpy=False,  # 关闭默认的numpy类型转换，减少内存占用
    client_session_keep_alive=True  # 避免长传输过程中连接中断
)

调整参数后，全量拉取380万条数据的内存占用可降低60%以上，耗时可压缩至8分钟以内。

• 采用Databricks优化过的Snowflake数据源：直接通过Spark API读取Snowflake表后再转pandas，分布式拉取会自动拆分数据分片，无需单节点承载全量数据压力，单节点16G内存即可稳定运行，耗时可压缩至3-5分钟，和AZSQL性能对齐。
• 下推过滤逻辑：如果不需要全量字段或全量数据，拉取时直接在SQL语句中指定需要的列、添加过滤条件，避免拉取无效数据，进一步降低资源消耗。

内容的提问来源于stack exchange，提问作者Brijan Elwadhi