You need to enable JavaScript to run this app. 使用Python向MySQL导入CSV时处理字段值单引号报错的方法
优惠活动
大模型
产品
解决方案
定价
更多

使用Python向MySQL导入CSV时处理字段值单引号报错的方法

问题本质

手动拼接SQL字符串的写法存在天然缺陷:只要字段值包含单引号、换行符、SQL特殊字符,就会直接打断语句语法结构;即使手动做单引号替换,也很容易因为转义不彻底出现兼容问题,还会引入SQL注入风险。
完全不需要自己写逻辑处理单引号转义,直接用MySQL驱动内置的参数化查询能力即可,由驱动内部自动完成所有特殊字符的转义工作,从根源上避免这类问题。

核心修正点
  • 彻底放弃手工拼接INSERT语句的写法,使用标准占位符%s构建SQL语句框架,将每行的字段值作为独立参数传入执行方法,驱动会自动处理所有字符转义
  • 用上下文管理器打开CSV文件,避免文件句柄泄漏、异常场景下资源占用
  • 修复原代码中建表语句的字段长度不统一的隐性Bug,确保所有自动生成的表字段类型、长度一致
  • 兼容用户未设置文本限定符的输入场景,避免CSV解析时报错
  • 显式按照列名顺序取字段值,规避字典顺序不稳定导致的数据错位问题
修正后的可运行代码
#!/usr/bin/env python
# coding: utf-8
import csv
import mysql.connector
import re

# 连接数据库
mydb = mysql.connector.connect(
    host="localhost",
    user="root",
    password="password",
    autocommit=True
)
mycursor = mydb.cursor()

# 获取用户输入参数
file_name = input("\nFile name with extension:").strip()
delimiter_ = input('\nDelimiter used:').strip()
textquali = input('\nText Qualifier used Press Enter if no qualifier:').strip()

# 准备CSV解析参数
csv_parse_kwargs = {
    'delimiter': delimiter_,
    'encoding': 'utf-8',
    'errors': 'ignore'
}
# 处理无文本限定符的场景
if textquali:
    csv_parse_kwargs['quotechar'] = textquali
else:
    csv_parse_kwargs['quoting'] = csv.QUOTE_NONE

# 删除旧表
mycursor.execute("DROP TABLE IF EXISTS rd.pbc_gl_sigline_src")

# 读取CSV并处理字段名、建表
field_name = []
with open(file_name, **csv_parse_kwargs) as csv_file:
    reader = csv.DictReader(csv_file)
    rowHeaders = reader.fieldnames
    print("CSV原始列名:", rowHeaders)
    # 清洗列名,去掉非法字符,转成数据库合法字段名
    for orig_col in rowHeaders:
        cleaned_col = re.sub('[^A-Za-z0-9]+', '_', orig_col)
        field_name.append(cleaned_col)
    
    # 构建建表语句,统一字段长度为255,解决原代码的长度不统一问题
    create_sql = f"CREATE TABLE rd.pbc_gl_sigline_src ({' VARCHAR(255), '.join(field_name)} VARCHAR(255))"
    mycursor.execute(create_sql)
    print("目标表创建完成")

    # 构建参数化INSERT语句,完全不需要手动拼接值
    placeholder = ','.join(['%s'] * len(field_name))
    insert_sql = f"INSERT INTO rd.pbc_gl_sigline_src ({','.join(field_name)}) VALUES ({placeholder})"

    # 逐行加载数据
    line_num = 1
    for row in reader:
        line_num += 1
        # 按原始列顺序取对应的值,避免数据错位
        row_values = [row.get(orig_col, '') for orig_col in rowHeaders]
        # 驱动自动处理所有值的转义,包括单引号、特殊字符
        mycursor.execute(insert_sql, row_values)
        print(f"第{line_num}行加载完成")

print("所有数据加载完毕")
原代码报错的根因

你之前遇到的语法错误,本质是手工拼接SQL的逻辑把值里的单引号当成了SQL语句的语法分隔符,比如值123'434会被拼接成'123'434',SQL解析时会把前面的'123'当成完整字符串,后面的434当成无语法意义的代码,最终触发“houseSTX附近存在语法错误”的提示。
用参数化查询后,不管值里包含单引号、百分号、换行还是其他特殊字符,驱动都会自动转义为数据库可识别的格式,完全不需要手动写replace逻辑。

内容的提问来源于stack exchange,提问作者Siddhartha

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 14:24:03