如何在Databricks中用hdbcli将PySpark DataFrame存入SAP数据仓库云

问题根源 #

你创建的final_result_local是Databricks Spark会话内的临时视图，仅在当前Spark上下文可见；而hdbcli的cursor直接连接SAP数据仓库云数据库，执行的SQL是在SAP数据库的上下文运行，无法识别Databricks侧的临时视图，因此报错。

推荐方法一：PySpark JDBC直接写入（适合大数据量） #

Spark原生支持JDBC写入，无需绕转临时视图，是处理大数据量的最优方案：

# 配置SAP HANA连接参数
sap_hana_jdbc_config = {
    "url": "jdbc:sap://<SAP_HANA_HOST>:<PORT>",
    "driver": "com.sap.db.jdbc.Driver",
    "user": "<USERNAME>",
    "password": "<PASSWORD>",
    "dbtable": "<TARGET_SCHEMA>.<TARGET_TABLE>"
}

# 写入DataFrame到SAP数据仓库云
df.write \
  .format("jdbc") \
  .options(**sap_hana_jdbc_config) \
  .mode("append")  # 可选模式：overwrite/append/ignore/errorifexists
  .save()

注意事项 #

• 需确保Databricks集群已安装SAP HANA JDBC驱动：可通过集群库管理上传驱动JAR，或从Maven仓库拉取对应版本的驱动包。

方法二：hdbcli批量插入（适合小数据量） #

若必须使用hdbcli，可将Spark DataFrame转换为批量插入格式，避免单行插入的低效：

import hdbcli

# 建立SAP HANA连接
conn = hdbcli.connect(
    address="<SAP_HANA_HOST>",
    port=<PORT>,
    user="<USERNAME>",
    password="<PASSWORD>"
)

# 小数据量下转换为Pandas DataFrame（大数据量建议分批次处理Spark分区）
pandas_df = df.toPandas()

# 构造批量插入SQL
columns = ", ".join(pandas_df.columns)
placeholders = ", ".join([f":{col}" for col in pandas_df.columns])
insert_sql = f"INSERT INTO <TARGET_SCHEMA>.<TARGET_TABLE> ({columns}) VALUES ({placeholders})"

cursor = conn.cursor()
# 将数据转为字典列表，匹配占位符
batch_data = pandas_df.to_dict("records")
cursor.executemany(insert_sql, batch_data)

# 提交事务并关闭连接
conn.commit()
cursor.close()
conn.close()

注意事项 #

• 大数据量下避免直接转Pandas，可通过df.foreachPartition()遍历Spark分区，每个分区执行一次批量插入，减少内存压力。

内容的提问来源于stack exchange，提问作者Boris