如何用Polars与ConnectorX读取MySQL大表及解决异常问题

一、Polars 连接 MySQL 的两种可靠方式 #

方式1：Polars 内置 read_database（依赖 SQLAlchemy） #

这是最省心的方法，无需手动处理游标或数据转换：

1. 安装依赖：

pip install polars sqlalchemy mysql-connector-python

（如果偏好 pymysql，替换依赖为 pymysql，连接字符串对应调整）
2. 代码示例：

import polars as pl

# 替换为你的 MySQL 连接信息
conn_str = "mysql+mysqlconnector://[用户名]:[密码]@[主机IP]:[端口]/[数据库名]"

# 执行查询并读取为 Polars DataFrame，大数据量建议开启流式读取
df = pl.read_database(
    query="SELECT * FROM 你的表名",
    connection=conn_str,
    streaming=True
)

print(df.head())

方式2：ConnectorX 配合 Polars #

ConnectorX 读取速度更快，适合超大数据量场景：

1. 安装依赖：

pip install polars connectorx

2. 代码示例：

import polars as pl
import connectorx as cx

conn_str = "mysql://[用户名]:[密码]@[主机IP]:[端口]/[数据库名]"
query = "SELECT * FROM 你的表名"

# 读取为 Arrow 格式（自动处理字节转字符串），再转 Polars DataFrame
df = pl.from_arrow(cx.read_sql(conn_str, query, return_type="arrow"))

print(df.head())

二、你遇到的三个异常原因及解决 #

1. 查询返回索引数据而非实际数据 #

问题出在手动用原生 DBAPI（如 pymysql）操作时，误获取了游标描述信息（列元数据）而非实际查询结果。比如错误写法：

import pymysql
conn = pymysql.connect(...)
cursor = conn.cursor()
cursor.execute("SELECT * FROM 表名")
# 错误：cursor.description 是列的元数据，不是实际数据
result = cursor.description

解决：要么用 cursor.fetchall() 获取数据后转 Polars，要么直接使用 Polars 内置方法，避免手动处理游标。

2. pandas+pymysql 转 Polars 报内存错误 #

pandas 会把全量数据加载到内存，250M 条数据的总内存占用会远超普通机器的内存上限，直接触发内存溢出。
解决：跳过 pandas 中转，用 Polars 原生的流式读取（开启 streaming=True）或 ConnectorX 分块读取，Polars 的懒加载机制会按需加载数据，不会一次性占满内存。

3. ConnectorX 结果带 b'xxx' 前缀 #

这是因为 ConnectorX 默认把 MySQL 的字符串类型读取成了字节数组（bytes），而非 Python 字符串。
解决：读取时指定 return_type="arrow"，Arrow 会自动将 bytes 转换为字符串类型，再通过 pl.from_arrow() 转成 Polars DataFrame，即可消除 b 前缀。

内容的提问来源于stack exchange，提问作者myamulla_ciencia