使用pd.read_sql_query读取SQL表触发ValueError报错求助

问题描述 #

原本可正常运行的代码，近期读取某特定SQL表时突然失效：

sql_query = pd.read_sql_query("SELECT * FROM "+key+"."+table+"", conn, chunksize=10000)

报错信息（中文翻译）：

ValueError: 使用序列设置数组元素。请求的数组在1维后具有不均匀形状。检测到的形状为(74,) + 不均匀部分。

解决方案 #

• 排查表中特殊数据类型列：这个错误本质是SQL返回的某列包含嵌套/可变长度数据（比如数组、JSON对象，或同一列内存在不同长度的序列），pandas无法将其转换为结构均匀的DataFrame列。先查看目标表的结构，确认是否新增了这类特殊类型的列，或某列的数据格式发生了变化。
• 显式指定列数据类型：如果定位到问题列，读取时通过dtype参数强制指定该列为object类型，避免pandas自动解析时出错：

  # 替换成实际的问题列名
  sql_query = pd.read_sql_query(
      f"SELECT * FROM {key}.{table}", 
      conn, 
      chunksize=10000,
      dtype={"problem_column": object}
  )
  

• 仅读取必要列：若不需要全量列，直接在SQL语句中指定需要的列，跳过包含可变长度数据的列：

  sql_query = pd.read_sql_query(
      f"SELECT col1, col2, col3 FROM {key}.{table}", 
      conn, 
      chunksize=10000
  )
  

• 检查表结构变更：确认近期是否有人员修改过该表的结构（比如新增列、修改列类型），或插入了不符合原有格式的数据（例如某列原本存储单值，现在插入了数组）。
• 逐块定位问题数据：利用chunksize的特性，逐块读取并检查数据，精准定位出问题的分块和列：

  chunk_iter = pd.read_sql_query(
      f"SELECT * FROM {key}.{table}", 
      conn, 
      chunksize=10000
  )
  for idx, chunk in enumerate(chunk_iter):
      print(f"处理分块 {idx}")
      for col in chunk.columns:
          # 检查列中是否存在列表/字典类型的数据
          if chunk[col].apply(lambda x: isinstance(x, (list, dict))).any():
              print(f"分块 {idx} 的 {col} 列包含序列数据")
  

内容的提问来源于stack exchange，提问作者BlakeB9