如何用Pandas设置group_concat_max_len？代码时灵时不灵问题排查

你的代码存在连接复用/不一致的问题，导致设置有时生效有时失效，具体分析和修正方案如下：

问题根源 #

pd.read_sql_query() 如果不指定 connection 参数，会从SQLAlchemy引擎的连接池中新建/复用一个独立连接，而不是你手动执行SET SESSION的那个连接：

• 你在当前con上执行了SET SESSION group_concat_max_len=100000;，但read_sql_query用的是另一个未做该设置的连接，自然会出现截断问题。
• 偶尔生效的情况，是碰巧连接池复用了之前已经设置过的连接。

修正方案 #

方案1：手动指定连接给read_sql_query #

直接把执行SET命令的连接传给read_sql_query，确保使用同一个连接执行查询：

engine = create_engine(xxx)
with engine.connect() as con:
    # 先设置会话参数
    con.execute("SET SESSION group_concat_max_len=100000;")
    # 关键：指定当前连接
    df = pd.read_sql_query(sql, con=con)

如果需要事务，也可以保留con.begin()，但同样要传con参数：

engine = create_engine(xxx)
with engine.connect() as con:
    with con.begin():
        con.execute("SET SESSION group_concat_max_len=100000;")
        df = pd.read_sql_query(sql, con=con)

方案2：全局设置连接池默认参数（推荐） #

通过SQLAlchemy的连接事件，让每个新连接自动执行SET命令，避免手动设置的遗漏：

from sqlalchemy import create_engine, event

engine = create_engine(xxx)

# 监听连接创建事件，自动设置参数
@event.listens_for(engine, 'connect')
def auto_set_group_concat_max_len(dbapi_connection, connection_record):
    cursor = dbapi_connection.cursor()
    cursor.execute("SET SESSION group_concat_max_len=100000;")
    cursor.close()

# 后续使用时无需手动设置，直接用引擎即可
df = pd.read_sql_query(sql, engine)

额外提示 #

如果你的数据量超过100000，需要根据实际情况调整group_concat_max_len的数值，最大可以设置为MySQL允许的上限（通常是4294967295）。

内容的提问来源于stack exchange，提问作者mayi18