pandas合并DataFrame转Spark报Can not merge type错误

运行如下Pandas处理代码后，调用spark.createDataFrame转换结果时抛出类型合并异常：

import pandas as pd
import numpy as np

pdf1 = pd.DataFrame({
    'id': np.array([1, 2, 3, 4, 6, 7], dtype=int),
    'name': np.array(['a', 'b', 'c', 'd', None, 'e'], dtype=str)
    })
print(pdf1.dtypes)

pdf2 = pd.DataFrame({
    'id': np.array([1, 2, 3, 5, 6, 7], dtype=int),
    'name': np.array(['k', 'l', 'm', 'm', 'o', None], dtype=str)
    })
print(pdf2.dtypes)

res_pdf = pdf1.join(pdf2, on = ['id'], how = 'outer', lsuffix="_x", rsuffix="_y",)
print(res_pdf)

触发的核心报错信息如下：

TypeError: field name_y: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.DoubleType'>

构造原始Pandas DataFrame时已经通过numpy显式指定name字段dtype为str，但Spark依然识别出DoubleType，最终导致转换失败。

报错由两个问题叠加导致：

1. Pandas join用法错误：pd.DataFrame.join默认使用右表的索引作为连接键，on参数仅用来指定左表匹配右表索引的列。代码中右表pdf2没有将id列设为索引，默认索引是从0开始的自增整数，和左表id列做外连接时会产生大量无匹配行，这些行的字段值会被填充为np.nan。
2. 类型推断冲突：np.nan本身是双精度浮点类型，外连接后name_x/name_y列会同时存在字符串值和浮点类型的np.nan，列类型被自动转为object。Spark做schema自动推断时是逐行扫描字段值的，扫到字符串值时判定字段为StringType，扫到np.nan时判定字段为DoubleType，合并类型时因为两种类型不兼容直接抛出异常。

即使修正join用法，只要Pandas字符串列中存在np.nan值，依然有概率触发这类类型推断错误——numpy的固定长度str类型无法原生存储缺失值，外连接、合并操作产生新缺失值时会自动引入浮点类型的NaN。

按实际场景选择以下方案即可解决问题：

• 修正连接逻辑，用pd.merge替代join做列值匹配连接，避免无意义的缺失值产生：

  # 错误写法：res_pdf = pdf1.join(pdf2, on = ['id'], how = 'outer', lsuffix="_x", rsuffix="_y",)
  # 正确写法：显式指定两表均用id列做连接键
  res_pdf = pdf1.merge(pdf2, on=['id'], how='outer', suffixes=('_x', '_y'))
  

• 转换Spark DataFrame前，将字符串列的类型显式设为Pandas可空字符串类型，避免浮点NaN混入：

  res_pdf['name_x'] = res_pdf['name_x'].astype(pd.StringDtype())
  res_pdf['name_y'] = res_pdf['name_y'].astype(pd.StringDtype())
  

• 最稳妥的方式是创建Spark DataFrame时显式指定schema，完全跳过自动类型推断逻辑，从根源避免类型冲突：

  from pyspark.sql.types import StructType, StructField, IntegerType, StringType
  # 显式定义表结构
  schema = StructType([
      StructField("id", IntegerType(), True),
      StructField("name_x", StringType(), True),
      StructField("name_y", StringType(), True)
  ])
  spark.createDataFrame(res_pdf, schema=schema).show()
  

内容的提问来源于stack exchange，提问作者user626528