PySpark DataFrame写入Oracle表数据缺失问题求助

问题描述 #

处理PySpark DataFrame（u_final）时遇到异常：执行u_final.show()显示数据正常，但调用自定义data_jdbc_writer函数写入Oracle表IFDWH.IF_DEPARTMENT后，表中数据量明显更少，且show()与写入操作之间无其他代码。已确认字段类型与结构完全匹配。

相关代码 #

u_final.show()
dp.data_jdbc_writer("jdbc:oracle:thin:@//127.0.0.1:1521/JDET","user","pwd","overwrite","IFDWH.IF_DEPARTMENT", u_final)

# data_jdbc_writer函数定义:
def data_jdbc_writer(url:str,truncate:str, user:str,pwd:str,mode:str,table:str, data):
    data.write \
        .format("jdbc") \
        .option("driver", "oracle.jdbc.OracleDriver")
        .option("url", url) \
        .option("truncate", true) \
        .option("user", user) \
        .option("password", pwd) \
        .mode(mode) \
        .option("CreateTableOptions", '') \
        .option("dbtable", table) \
        .save()

核心问题与修复方案 #

1. 参数顺序完全错位 #

调用data_jdbc_writer时的参数顺序是url, user, pwd, mode, table, data，但函数定义的参数顺序是url, truncate, user, pwd, mode, table, data，直接导致：

• 传入的user被误作为truncate参数
• pwd被误作为user参数
• 后续所有参数全部错位，数据库认证信息完全错误，最终只有部分数据（甚至0条）能写入。

2. 语法错误：链式调用中断 #

函数中.option("driver", "oracle.jdbc.OracleDriver")行末尾缺少反斜杠\，导致后续写入逻辑无法执行，写入流程提前中断。

3. truncate参数值错误 #

Python中布尔值为True/False，代码里的true是未定义变量，会触发NameError；若需传字符串格式，应写"true"。

修复后的完整代码 #

# 修正参数顺序，将truncate设为可选参数
def data_jdbc_writer(url: str, user: str, pwd: str, mode: str, table: str, data, truncate: str = "false"):
    data.write \
        .format("jdbc") \
        .option("driver", "oracle.jdbc.OracleDriver") \
        .option("url", url) \
        .option("truncate", truncate) \
        .option("user", user) \
        .option("password", pwd) \
        .mode(mode) \
        .option("CreateTableOptions", '') \
        .option("dbtable", table) \
        .save()

# 按修正后的参数顺序调用
u_final.show()
dp.data_jdbc_writer(
    "jdbc:oracle:thin:@//127.0.0.1:1521/JDET",
    "user",
    "pwd",
    "overwrite",
    "IFDWH.IF_DEPARTMENT",
    u_final,
    truncate="true"  # 根据需求设置是否截断表
)

额外排查建议 #

• 捕获写入异常，避免报错被忽略：

  try:
      dp.data_jdbc_writer(...)
  except Exception as e:
      print(f"写入失败: {str(e)}")
  

• 执行u_final.count()确认DataFrame实际行数，默认show()仅显示前20条数据，若要查看全部需用show(u_final.count())。
• 检查Oracle表的约束（如主键唯一约束），若DataFrame存在重复主键，写入时会被Oracle拒绝，导致数据量减少。

内容的提问来源于stack exchange，提问作者sghiar