MySQL丢失字符串末尾空格导致两个Pandas DataFrame对比不相等如何处理

MySQL默认对字符串的存储和比对规则如下：

• CHAR类型字段存储时会自动移除末尾多余空格，检索时默认也不会补全空格
• VARCHAR类型字段默认存储时会保留末尾空格，但字符串比较操作默认会忽略末尾空格，同时如果SQL Mode配置异常也会出现存储时截断空格的情况

1. 调整SQL Mode配置 #

该配置可以修正MySQL对字符串末尾空格的默认处理逻辑：

• 临时生效（重启MySQL后失效）：执行SQL命令

SET GLOBAL sql_mode = 'STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,PAD_CHAR_TO_FULL_LENGTH';

如果原有sql_mode包含其他需要保留的参数，仅需追加PAD_CHAR_TO_FULL_LENGTH即可，不要直接覆盖原有配置。

• 永久生效：修改MySQL配置文件my.cnf（Linux系统）或my.ini（Windows系统），在[mysqld]节点下添加如下配置，修改后重启MySQL服务生效：

[mysqld]
sql_mode = STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,PAD_CHAR_TO_FULL_LENGTH

2. 修正字段类型设置 #

• 必须使用VARCHAR类型存储需要保留末尾空格的字符串，CHAR类型即使开启上述配置，仅会在检索时补全空格，存储时仍会截断多余空格，无法满足需求
• 修改字段时需显式指定足够的长度，避免字段长度不足导致的内容截断，示例SQL：

ALTER TABLE 你的表名 MODIFY COLUMN 目标字段名 VARCHAR(255);

3. 同步SQLAlchemy字段映射 #

使用SQLAlchemy Core定义表结构时，必须显式指定String类型的长度，保证映射到MySQL为VARCHAR类型，示例代码：

from sqlalchemy import Column, String

# 正确写法，对应MySQL VARCHAR(255)
target_column = Column(String(255), nullable=False)

如果表已提前创建，需先调整MySQL端字段类型，再同步修改SQLAlchemy的表定义。

4. 临时规避方案 #

如果暂时无法调整MySQL配置，可在比对DataFrame前统一清洗所有字符串列的末尾空格，消除配置差异导致的比对失败，示例代码：

import pandas as pd

# 筛选所有字符串类型列
str_cols = df1.select_dtypes(include='object').columns
# 统一移除两个DataFrame字符串列的末尾空格
df1[str_cols] = df1[str_cols].apply(lambda x: x.str.rstrip())
df2[str_cols] = df2[str_cols].apply(lambda x: x.str.rstrip())

# 执行相等判断
print(df1.equals(df2))

内容的提问来源于stack exchange，提问作者md12