通过Visual Studio Code向SQL Server导入CSV数据的实现方法

pyodbc 连接配置排障（解决连接失败问题） #

• 先确认驱动匹配：打开Windows系统的「ODBC数据源管理器」，在驱动列表中确认已安装与SQL Server实例位数一致的ODBC驱动，优先使用ODBC Driver 18 for SQL Server，连接字符串中必须填写和列表完全一致的驱动名，不能凭记忆简写。
• 对齐VSC中已有的MSSQL连接参数，套用标准可运行的连接模板：

  import pyodbc
  conn = pyodbc.connect(
      "DRIVER={ODBC Driver 18 for SQL Server};"
      "SERVER=你的SQL实例地址,端口号;" # 和VSC MSSQL扩展的SERVER配置完全一致，比如DESKTOP-XXX\SQLEXPRESS,1433
      "DATABASE=目标操作库名;"
      "UID=数据库登录账号;"
      "PWD=数据库登录密码;"
      "TrustServerCertificate=yes;" # 解决自签证书连接报错的必填参数
      "Encrypt=yes;"
  )
  

• 常见报错对应修复：
  • 报驱动不存在：核对连接字符串中驱动名的括号、空格是否和ODBC管理器显示内容完全匹配，不要漏写大括号
  • 报TLS证书信任失败：必须添加TrustServerCertificate=yes参数，无需修改系统安全设置
  • 报登录失败：核对账号密码和VSC MSSQL扩展中存储的配置完全一致，不要混用Windows集成认证和账号密码认证的参数

Python与SQL脚本协同数据流转实现 #

• 基础可落地流程：
  1. Python侧用pandas加载、清洗CSV数据，将字段数据类型对齐目标SQL表的字段类型，避免导入时类型转换报错
  2. Python侧读取同目录下提前写好的SQL脚本文件，通过pyodbc游标执行脚本中的建表、加列、建索引逻辑，不需要重复在VSC的MSSQL扩展里手动跑SQL
  3. 用批量插入方法写入数据，比逐行插入效率提升10倍以上：

     cursor = conn.cursor()
     # 替换为实际的表名、字段列表
     insert_sql = "INSERT INTO 目标表(字段1, 字段2, 字段3) VALUES(?,?,?)"
     # 将清洗后的DataFrame转为元组列表做批量提交
     data_batch = [tuple(row) for row in cleaned_df.values]
     cursor.executemany(insert_sql, data_batch)
     conn.commit()
     

• 效率优化：在SQL脚本中用{{变量占位符}}标记需要动态传入的参数，Python读入脚本后统一替换占位符再执行，避免反复修改两边的硬编码配置。

原生SQL直接查询本地CSV的导入方案 #

• 前置一次性配置：在SQL Server中执行以下命令开启分布式查询权限，否则无法通过SQL读取本地文件：

  sp_configure 'show advanced options', 1;
  RECONFIGURE;
  sp_configure 'Ad Hoc Distributed Queries', 1;
  RECONFIGURE;
  

• 直接通过OPENROWSET关联本地CSV导入，无需提前手动建表：

  -- 读取CSV并自动生成目标表
  SELECT * 
  INTO 新建的目标表名
  FROM OPENROWSET(
      'Microsoft.ACE.OLEDB.12.0',
      -- 路径填CSV所在的文件夹，不是CSV文件本身
      'Text;Database=C:\csv文件存放目录\;HDR=YES;FMT=Delimited',
      'SELECT * FROM 目标文件.csv'
  ) AS csv_source;
  

• 常见配置坑：
  • 报ACE引擎找不到：安装与SQL Server实例位数一致的Access Database Engine，不要安装和实例不匹配的32位/64位版本
  • HDR=YES参数表示CSV第一行是表头，无表头则修改为NO
  • CSV存放路径不要包含中文、特殊字符，避免路径解析失败

内容的提问来源于stack exchange，提问作者Stykes