使用Python向MySQL导入CSV时处理字段值单引号报错的方法
问题本质
手动拼接SQL字符串的写法存在天然缺陷:只要字段值包含单引号、换行符、SQL特殊字符,就会直接打断语句语法结构;即使手动做单引号替换,也很容易因为转义不彻底出现兼容问题,还会引入SQL注入风险。
完全不需要自己写逻辑处理单引号转义,直接用MySQL驱动内置的参数化查询能力即可,由驱动内部自动完成所有特殊字符的转义工作,从根源上避免这类问题。
核心修正点
- 彻底放弃手工拼接INSERT语句的写法,使用标准占位符
%s构建SQL语句框架,将每行的字段值作为独立参数传入执行方法,驱动会自动处理所有字符转义 - 用上下文管理器打开CSV文件,避免文件句柄泄漏、异常场景下资源占用
- 修复原代码中建表语句的字段长度不统一的隐性Bug,确保所有自动生成的表字段类型、长度一致
- 兼容用户未设置文本限定符的输入场景,避免CSV解析时报错
- 显式按照列名顺序取字段值,规避字典顺序不稳定导致的数据错位问题
修正后的可运行代码
#!/usr/bin/env python # coding: utf-8 import csv import mysql.connector import re # 连接数据库 mydb = mysql.connector.connect( host="localhost", user="root", password="password", autocommit=True ) mycursor = mydb.cursor() # 获取用户输入参数 file_name = input("\nFile name with extension:").strip() delimiter_ = input('\nDelimiter used:').strip() textquali = input('\nText Qualifier used Press Enter if no qualifier:').strip() # 准备CSV解析参数 csv_parse_kwargs = { 'delimiter': delimiter_, 'encoding': 'utf-8', 'errors': 'ignore' } # 处理无文本限定符的场景 if textquali: csv_parse_kwargs['quotechar'] = textquali else: csv_parse_kwargs['quoting'] = csv.QUOTE_NONE # 删除旧表 mycursor.execute("DROP TABLE IF EXISTS rd.pbc_gl_sigline_src") # 读取CSV并处理字段名、建表 field_name = [] with open(file_name, **csv_parse_kwargs) as csv_file: reader = csv.DictReader(csv_file) rowHeaders = reader.fieldnames print("CSV原始列名:", rowHeaders) # 清洗列名,去掉非法字符,转成数据库合法字段名 for orig_col in rowHeaders: cleaned_col = re.sub('[^A-Za-z0-9]+', '_', orig_col) field_name.append(cleaned_col) # 构建建表语句,统一字段长度为255,解决原代码的长度不统一问题 create_sql = f"CREATE TABLE rd.pbc_gl_sigline_src ({' VARCHAR(255), '.join(field_name)} VARCHAR(255))" mycursor.execute(create_sql) print("目标表创建完成") # 构建参数化INSERT语句,完全不需要手动拼接值 placeholder = ','.join(['%s'] * len(field_name)) insert_sql = f"INSERT INTO rd.pbc_gl_sigline_src ({','.join(field_name)}) VALUES ({placeholder})" # 逐行加载数据 line_num = 1 for row in reader: line_num += 1 # 按原始列顺序取对应的值,避免数据错位 row_values = [row.get(orig_col, '') for orig_col in rowHeaders] # 驱动自动处理所有值的转义,包括单引号、特殊字符 mycursor.execute(insert_sql, row_values) print(f"第{line_num}行加载完成") print("所有数据加载完毕")
原代码报错的根因
你之前遇到的语法错误,本质是手工拼接SQL的逻辑把值里的单引号当成了SQL语句的语法分隔符,比如值123'434会被拼接成'123'434',SQL解析时会把前面的'123'当成完整字符串,后面的434当成无语法意义的代码,最终触发“houseSTX附近存在语法错误”的提示。
用参数化查询后,不管值里包含单引号、百分号、换行还是其他特殊字符,驱动都会自动转义为数据库可识别的格式,完全不需要手动写replace逻辑。
内容的提问来源于stack exchange,提问作者Siddhartha
相关产品推荐
相关产品推荐

