使用executeMany()加载文件数据到Oracle表无报错但写入失败
问题根因汇总
- 参数拼接逻辑错误:你定义的
invalue是固定字符串'line[0], line[1] , line[2] , line[3] , line[4]',不是读取每行的字段值,导致传入executemany的参数完全不符合要求,直接触发数据库操作异常。 - csv模块参数使用错误:
csv.reader没有header=None参数,该参数属于pandas的read_csv方法,这里传非法参数会直接抛出异常,中断执行。 - 语法错误未被捕获可见:
file_name = demo_2021.csv没有给文件名加引号,属于Python语法错误;同时你未配置logging的输出规则,默认logging.error不会在控制台打印错误日志,所有异常都被静默吞掉,你看不到任何报错提示。 - 参数个数不匹配:
cur.setinputsizes(None, 25)只配置了2个占位符的输入大小,但你的INSERT语句有5个占位符,类型校验不通过会触发执行异常。 - 函数未调用:你只定义了
loadtable函数,没有编写调用该函数的代码,程序运行后没有执行任何数据库写入逻辑。
修复后的可运行代码
import logging import cx_Oracle import csv # 配置logging让错误可以正常输出 logging.basicConfig(level=logging.ERROR, format='%(asctime)s - %(levelname)s - %(message)s') insertQuery = "insert into test (id,name,surname,age,country) values (:1, :2, :3, :4, :5)" oracleconnection = 'user/password@hostIP/database' my_separator = '|' # 文件名加引号定义为字符串 file_name = "demo_2021.csv" def loadtable(oracleconnection, my_query, file_name, my_separator): con = None try: con = cx_Oracle.connect(oracleconnection) cur = con.cursor() # 按照5个字段的实际类型配置inputsizes,varchar2(50)对应大小设为50,number设为None即可 cur.setinputsizes(None, 50, 50, None, 50) batch_size = 10000 with open(file_name, 'r', encoding='utf-8') as csv_file: # 去掉不存在的header=None参数 csv_reader = csv.reader(csv_file, delimiter=my_separator) # 如果CSV第一行是表头,取消下一行注释跳过表头 # next(csv_reader) data = [] for line in csv_reader: # 直接取每行的5个字段转为元组,不要用固定字符串 data.append((line[0], line[1], line[2], line[3], line[4])) if len(data) % batch_size == 0: cur.executemany(my_query, data) data = [] if data: cur.executemany(my_query, data) con.commit() print("数据写入成功,共写入{}条记录".format(cur.rowcount)) except Exception as er: logging.error(f'执行出错: {er}') if con: con.rollback() finally: if con: con.close() # 调用执行函数 if __name__ == "__main__": loadtable(oracleconnection, insertQuery, file_name, my_separator)
内容的提问来源于stack exchange,提问作者codeholic24
相关产品推荐
相关产品推荐

