如何将pandas DataFrame中None等空值替换为SQL可识别Null值

你现有代码的核心问题有两个：一是没有提前把pandas体系下的NaN、NaT、pd.NA这类空值做统一处理，直接转字符串会变成'nan'、'NaT'这类无效文本；二是直接用str(tuple(i))拼接SQL时，Python原生None会被转成None关键字，SQL Server不识别，必须替换成SQL标准的NULL，同时字符串值还要做单引号转义避免语法错误。

按以下步骤改即可：

• 第一步：统一清理DataFrame内的所有空值
  先把所有pandas自定义空类型全部替换成Python原生None，避免后续类型判断混乱：

  import pandas as pd
  import datetime
  
  # 所有空值统一替换为Python None
  sql_dataframe = sql_dataframe.where(pd.notna(sql_dataframe), None)
  

• 第二步：写一个值格式化函数，适配SQL语法规则
  单独处理每个值的转义逻辑，空值转成NULL，字符串转义单引号，日期、数字按SQL能识别的格式输出：

  def format_sql_value(val):
      # 空值直接返回SQL的NULL关键字
      if val is None:
          return "NULL"
      # 字符串类型转义内部单引号，外层包裹单引号
      if isinstance(val, str):
          escaped_val = val.replace("'", "''")
          return f"'{escaped_val}'"
      # 日期时间类型转成SQL Server兼容的时间字符串
      if isinstance(val, (pd.Timestamp, datetime.datetime, datetime.date)):
          return f"'{val.strftime('%Y-%m-%d %H:%M:%S')}'"
      # 数字类型直接转字符串即可
      return str(val)
  

• 第三步：改造插入逻辑，用批量拼接代替逐行提交，速度会快很多
  不要每行生成一条SQL单独执行，按批次拼接值片段，既减少和数据库的交互次数，也避免单条SQL过长报错：

  cursor = self.sqlconn.cursor()
  # 提前拼接插入语句的固定前缀，列名加方括号避免和SQL关键字冲突
  col_part = ','.join([f"[{col}]" for col in sql_dataframe.columns])
  sql_prefix = f"INSERT INTO {table_name} ({col_part}) VALUES "
  
  # 逐行格式化值
  all_value_tuples = []
  for row in sql_dataframe.itertuples(index=False, name=None):
      formatted_vals = [format_sql_value(v) for v in row]
      all_value_tuples.append(f"({','.join(formatted_vals)})")
  
  # 每1000条一批执行
  batch_size = 1000
  for idx in range(0, len(all_value_tuples), batch_size):
      batch = ','.join(all_value_tuples[idx:idx+batch_size])
      cursor.execute(sql_prefix + batch)
  
  # 最后统一提交
  self.sqlconn.commit()
  

额外提一句：你觉得to_sql慢大概率是没加参数，只要配置chunksize=1000、method='multi'，配合pymssql连接关闭自动提交，写入速度和手写拼接SQL几乎没有差异，还不用自己处理空值转换、特殊字符转义的问题，空值会自动转成SQL Server支持的NULL。

内容的提问来源于stack exchange，提问作者renjith