Python实现Pandas DataFrame向HANA表的条件插入求助

核心思路 #

利用HANA的MERGE语句实现Upsert逻辑，动态生成SQL适配未知列，同时通过参数化查询传递实际数据，解决语法错误、值传递异常等问题。

步骤1：预处理DataFrame #

先映射关键列，分离出CSV中新增的非固定列：

# 映射CSV列到HANA表的对应主键/名称列
df_renamed = df.rename(columns={'X_ID': 'ID', 'X_NAME': 'NAME'})

# 提取CSV中的新增列（排除HANA表原有固定列）
original_table_cols = {'ID', 'COL1', 'NAME', 'COL2'}
new_cols = [col for col in df_renamed.columns if col not in original_table_cols]

步骤2：动态生成MERGE SQL语句 #

根据新增列自动构造匹配条件、插入字段和更新字段，无需硬编码列名：

# MERGE基础模板
merge_sql = """
MERGE INTO Table_1 AS target
USING (SELECT * FROM VALUES {values_clause}) AS source ({column_clause})
ON target.ID = source.ID
WHEN MATCHED THEN
    UPDATE SET {update_clause}
WHEN NOT MATCHED THEN
    INSERT ({insert_columns})
    VALUES ({insert_values})
"""

# 构造各部分子句
# 源表列：包含映射后的ID、NAME和所有新增列
column_clause = ', '.join(['ID', 'NAME'] + new_cols)

# 更新规则：仅同步新增列数据
update_clause = ', '.join([f"target.{col} = source.{col}" for col in new_cols])

# 插入列清单：HANA表全列（固定列+新增列）
insert_columns = ', '.join(['ID', 'NAME', 'COL1', 'COL2'] + new_cols)

# 插入值规则：固定列COL1/COL2设为NULL，其余取源表值
insert_values = ', '.join(['source.ID', 'source.NAME', 'NULL', 'NULL'] + [f"source.{col}" for col in new_cols])

# 生成参数占位符，避免SQL注入并传递实际数据
num_cols = len(['ID', 'NAME'] + new_cols)
row_placeholders = ', '.join([f"({', '.join([f':{i + j*num_cols + 1}' for i in range(num_cols)])})" for j in range(len(df_renamed))])

步骤3：参数化执行SQL #

将DataFrame的实际数据转为参数列表，确保插入的是具体值而非列名：

# 整理参数：按行提取ID、NAME和新增列的值，转为一维列表
params = []
for _, row in df_renamed.iterrows():
    params.extend([row['ID'], row['NAME']] + [row[col] for col in new_cols])

# 拼接完整SQL语句
final_sql = merge_sql.format(
    values_clause=row_placeholders,
    column_clause=column_clause,
    update_clause=update_clause,
    insert_columns=insert_columns,
    insert_values=insert_values
)

# 执行SQL（以hana_ml连接为例，也可使用pyodbc等工具）
from hana_ml import dataframe as hd
conn = hd.ConnectionContext(user='你的用户名', password='你的密码', address='HANA服务器地址', port=30015)
conn.cursor().execute(final_sql, params)
conn.commit()

关键说明 #

1. 动态列适配：自动识别CSV中的新增列，无需提前知晓所有列名
2. 参数化查询：用占位符传递数据，彻底解决插入列名而非实际值的问题
3. MERGE逻辑精准匹配需求：
   • 匹配现有ID时，仅更新新增列，不修改HANA表原有COL1、COL2数据
   • 无匹配ID时，插入新行，COL1、COL2设为NULL，同步新增列数据

内容的提问来源于stack exchange，提问作者Lyla