将Pandas DataFrame导出至Sybase数据库时遇pyodbc语法错误求助

问题场景 #

尝试将Pandas DataFrame导出到Sybase SQL数据库时，出现语法错误报错。

报错信息 #

pyodbc.ProgrammingError: ('42000', '[42000] [Sybase][ODBC Driver]Syntax error or access violation (0) (SQLPrepare)')

用户原始代码 #

import pandas as pd
import pyodbc as db
from datetime import datetime

#set constants
DSN = 'DSN'
input_table = 'table'
run_timestamp = str(datetime.now())[:19]
test_date_start = '2020-09-09'
test_date_end = '2025-08-08'
input_data = pd.DataFrame({
    'model':['aaa','aaa'], 'result_type':['a','test_statistic'], 'test_name':['b', 'mwb'], 'input_variable_name':['c','pd'], 'segment':['car','book'],
    'customer_type':['le','le'], 'value':[60, 0.58], 'del_flag':[0,0]
})
query = 'insert into schema.table (data_input_time,test_date_start,test_date_end,model,result_type,test_name,input_variable_name,segment,customer_type,value,del_flag) values (?,?,?,?,?,?,?,?,?,?,?)'

cnxn = db.connect(DSN)
cursor = cnxn.cursor()
cursor.execute('SETUSER MYUSERNAME')

for row_count in range(0, input_data.shape[0]):
    #1 method
    chunk = input_data.iloc[row_count:row_count + 1, :].values.tolist()
    tuple_of_tuples = tuple(tuple(x) for x in chunk)
    cursor.executemany(query, tuple_of_tuples)

    #2 method
    params = [(i,) for i in chunk] #f'txt{i}'
    cursor.executemany(query, params)

问题分析与解决方案 #

核心问题点 #

1. 参数数量不匹配：INSERT语句声明了11个字段，但原始代码仅传入DataFrame的8列数据，遗漏了run_timestamp、test_date_start、test_date_end三个常量字段，导致占位符与实际参数数量不符，触发语法错误。
2. 冗余执行逻辑：循环内同时用两种方式调用executemany，且逐行处理完全浪费了批量插入的优势，还容易引发重复插入问题。
3. 标识符格式问题：Sybase中如果schema或表名是保留字，未用特殊符号包裹会引发语法识别错误。

修正后的代码 #

import pandas as pd
import pyodbc as db
from datetime import datetime

# 设置常量
DSN = 'DSN'
input_table = 'table'
run_timestamp = str(datetime.now())[:19]
test_date_start = '2020-09-09'
test_date_end = '2025-08-08'

input_data = pd.DataFrame({
    'model':['aaa','aaa'], 'result_type':['a','test_statistic'], 
    'test_name':['b', 'mwb'], 'input_variable_name':['c','pd'], 
    'segment':['car','book'], 'customer_type':['le','le'], 
    'value':[60, 0.58], 'del_flag':[0,0]
})

# 修正表名格式：用[]包裹避免保留字冲突，格式化SQL语句提升可读性
query = '''
INSERT INTO [schema].[table] (
    data_input_time, test_date_start, test_date_end, 
    model, result_type, test_name, input_variable_name, 
    segment, customer_type, value, del_flag
) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
'''

# 数据库连接与操作
cnxn = db.connect(DSN)
cursor = cnxn.cursor()
cursor.execute('SETUSER MYUSERNAME')

# 构造完整参数列表：每行补充三个常量字段
params = []
for _, row in input_data.iterrows():
    params.append((
        run_timestamp, test_date_start, test_date_end,
        row['model'], row['result_type'], row['test_name'],
        row['input_variable_name'], row['segment'], row['customer_type'],
        row['value'], row['del_flag']
    ))

# 批量插入并提交事务
cursor.executemany(query, params)
cnxn.commit()

# 关闭资源
cursor.close()
cnxn.close()

额外优化建议 #

• 优先用iterrows()遍历DataFrame构造参数，比iloc切片更直观易维护。
• 批量操作后必须调用cnxn.commit()，否则数据不会持久化到数据库。
• 若DataFrame数据量极大，可按固定大小分块执行executemany，避免内存溢出。

内容的提问来源于stack exchange，提问作者Lumi Nor