Python Snowflake Connector执行ETL查询时假挂起问题求助

以下是针对你遇到的「Snowflake端查询已完成，但Python客户端陷入假挂起」问题的具体排查和解决方向：

1. 缺失超时配置，导致无响应时无限等待 #

你的连接和查询代码未设置任何超时参数，当网络波动、连接静默断开时，Python客户端会一直阻塞等待响应，不会主动检测连接状态。

• 解决办法：在连接和执行查询时添加超时设置：

  # 连接时添加超时参数
  ctx = snowflake.connector.connect(
      user=self.user,
      password=self.password,
      account=self.account,
      warehouse=self.warehouse,
      database=self.database,
      schema=self.schema,
      insecure_mode=True,
      # 连接超时（单位：秒）
      connect_timeout=30,
      # Socket超时，防止静默连接持续阻塞
      socket_timeout=300
  )
  
  # 执行查询时添加超时
  cs.execute(query, timeout=300)
  

2. 连接器版本存在已知bug #

旧版本的Snowflake Python连接器可能存在游标阻塞、fetch操作死锁等问题，尤其在处理大结果集或高并发场景下。

• 排查与解决：
  • 运行pip show snowflake-connector-python查看当前版本
  • 升级到最新稳定版：

    pip install --upgrade snowflake-connector-python snowflake-arrow-python
    

3. fetchallarrow的转换或传输问题 #

当结果集较大时，fetchallarrow在将Snowflake数据转换为Arrow格式的过程中可能出现阻塞，或数据传输因网络问题中断但未触发异常。

• 排查与优化：
  • 临时替换fetchallarrow为fetchall()测试，定位是否为Arrow转换环节的问题
  • 大结果集场景下，改用分批获取：

    cs.execute(query)
    chunk_size = 10000
    chunks = []
    while True:
        chunk = cs.fetchmany(chunk_size)
        if not chunk:
            break
        chunks.append(chunk)
    # 后续再统一转换为Arrow或DataFrame
    

4. 连接与游标资源未正确释放 #

ETL引擎循环执行查询时，若未正确关闭游标或连接，会导致资源泄漏，累积到一定程度后触发异常阻塞。

• 解决办法：使用上下文管理器自动管理资源：

  with snowflake.connector.connect(
      user=self.user,
      password=self.password,
      account=self.account,
      warehouse=self.warehouse,
      database=self.database,
      schema=self.schema,
      insecure_mode=True,
      connect_timeout=30,
      socket_timeout=300
  ) as ctx:
      with ctx.cursor() as cs:
          cs.execute(query, timeout=300)
          response = cs.fetchallarrow(
              strings_as_dictionary=strings_as_dictionary,
              adaptive_integers=adaptive_integers,
          )
          # 后续数据处理逻辑
  

5. 网络层拦截或静默断开 #

insecure_mode=True跳过TLS证书验证，可能导致防火墙、代理等网络设备对连接进行异常处理；另外，长时间的连接静默可能被网络设备主动断开，但Python客户端未感知。

• 排查步骤：
  • 检查ETL服务器与Snowflake端点的网络连通性，查看是否存在丢包、延迟波动
  • 尝试关闭insecure_mode（确保证书配置正确），测试问题是否复现
  • 查看Snowflake查询日志，确认查询完成后是否有向客户端发送响应的记录

内容的提问来源于stack exchange，提问作者Mammu yedukondalu