AWS Lambda更新MySQL表遇1054错误：'nan'列不存在问题排查

核心原因 #

Lambda环境中，Pandas的replace(0, None)或where()操作可能实际生成了numpy的NaN而非Python原生None，MySQL驱动将NaN解析成了字符串'nan'，导致SQL语句里出现SET col = nan，数据库误以为nan是列名，触发Unknown column 'nan'错误。

具体解决步骤 #

1. 确保替换后生成Python原生None #

避免Pandas自动将None转为numpy NaN，改用更明确的替换方式：

• 全表替换（谨慎使用，避免误改合法0值）：

  df = df.replace({0: None})  # 用字典形式明确指定替换值
  

• 针对特定列精准替换（推荐）：

  # 替换指定列中的0为None
  target_cols = ['col1', 'col2', 'col3']
  for col in target_cols:
      df[col] = df[col].apply(lambda x: None if x == 0 else x)
  

• 验证替换结果：在Lambda中添加日志检查值类型：

  import logging
  logger = logging.getLogger()
  logger.info(f"处理后列值类型: {type(df.iloc[0]['col1'])}")
  logger.info(f"DataFrame样本数据: {df.head().to_dict()}")
  

  确保输出是NoneType而非float（NaN属于float类型）。

2. 使用参数化SQL查询 #

绝对不要直接将DataFrame的值拼进SQL字符串，用参数化查询让MySQL驱动自动处理NULL：

import pymysql

# 示例：更新单条数据
conn = pymysql.connect(host='your-host', user='your-user', password='your-pwd', db='your-db')
cursor = conn.cursor()

update_sql = "UPDATE your_table SET col1 = %s, col2 = %s WHERE id = %s"
# 从DataFrame取对应值，None会被驱动自动转为MySQL的NULL
values = (df.iloc[0]['col1'], df.iloc[0]['col2'], df.iloc[0]['id'])

cursor.execute(update_sql, values)
conn.commit()

3. 核对Lambda环境的依赖细节 #

即使主版本一致，小版本差异也可能导致行为不同：

• 在Lambda函数中打印依赖版本：

  import pandas as pd
  import pymysql  # 或你使用的其他MySQL驱动
  logger.info(f"Pandas版本: {pd.__version__}")
  logger.info(f"MySQL驱动版本: {pymysql.__version__}")
  

  对比本地amplify mock环境的版本，确保完全一致（包括小版本号）。

4. 排查数据来源的隐性问题 #

检查上游数据是否本身包含NaN，而非替换操作导致：

logger.info(f"原始数据各列NaN数量: {df.isna().sum()}")

如果原始数据已有NaN，先统一处理：df = df.fillna(None)

调试技巧 #

在Lambda控制台查看CloudWatch日志，重点关注：

• 处理前后DataFrame的具体值和类型
• 最终生成的SQL语句（如果用字符串拼接方式，检查是否出现nan字符串）

内容的提问来源于stack exchange，提问作者ten