Python与Snowflake通信(数据下载)中断问题求助
Python与Snowflake交互间歇性通信中断问题
问题现象
- 程序运行期间出现间歇性通信中断,部分场景下会在持续运行10小时以上才触发该问题,错误集中发生在客户端从Snowflake下载数据的阶段。
- 分别使用
snowflake.connector和snowflake-sqlalchemy两种连接方式测试,均出现相同的中断问题。
业务流程
- 从Snowflake执行SQL查询,将结果分批下载至Pandas DataFrame,每批处理1000行数据
- 每批数据拆分为7份,并行发送至PTV服务器完成地理编码处理
- 将地理编码后的最终数据持久化写入Snowflake目标表
相关依赖版本
numpy==1.24.2pandas==1.5.3snowflake-connector-python[pandas]==3.0.4snowflake-sqlalchemy==1.4.7sqlalchemy==1.4.48
日志错误信息(翻译后)
连接被对等方重置(Connection reset by peer)
Snowflake客户端在数据下载阶段发生网络通信中断,会话连接异常终止
内容的提问来源于stack exchange,提问作者Asis
相关产品推荐
相关产品推荐

