如何通过本地Python将存储桶TXT文件导入Cloud SQL for SQL Server实例

一、准备工作 #

• 安装所需依赖库：

  pip install google-cloud-storage pyodbc
  

• 确保你的服务账号拥有以下权限：
  • Cloud SQL Client（用于连接SQL Server实例）
  • Storage Object Viewer（用于读取GCS存储桶中的文件）
• 连接Cloud SQL的两种方式：
  • 公网IP：在实例的连接设置中添加本地机器的公网IP到授权列表
  • Cloud SQL Auth Proxy（推荐，更安全），启动命令示例：

    ./cloud-sql-proxy your-project-id:region:instance-name
    

二、完整实现代码 #

import os
import csv
from google.cloud import storage
import pyodbc

# 初始化GCS连接
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'ServiceKey_GooglCloud.json' 
storage_client = storage.Client()
mybucket = storage_client.get_bucket('my-bucket')

# 配置SQL Server连接参数
# 用Auth Proxy时主机填127.0.0.1，端口默认1433；用公网IP则填实例公网IP
server = '127.0.0.1'
database = 'your-database-name'
username = 'your-sql-username'
password = 'your-sql-password'
driver = '{ODBC Driver 17 for SQL Server}'

# 建立SQL Server连接
conn = pyodbc.connect(f'DRIVER={driver};SERVER={server};DATABASE={database};UID={username};PWD={password}')
cursor = conn.cursor()

# 读取GCS中的TXT文件（示例为逗号分隔格式，可根据实际调整分隔符）
blob = mybucket.blob('your-file.txt')
txt_content = blob.download_as_text()

# 解析TXT数据
rows = txt_content.splitlines()
csv_reader = csv.reader(rows, delimiter=',')  # 替换为你的TXT实际分隔符

# 插入数据到目标表（示例表有col1、col2、col3三个字段）
insert_query = """
INSERT INTO target_table (col1, col2, col3)
VALUES (?, ?, ?)
"""

# 批量执行插入（数据量大时用executemany更高效）
cursor.executemany(insert_query, csv_reader)

# 提交事务并关闭连接
conn.commit()
cursor.close()
conn.close()

print("数据插入完成")

三、关键注意事项 #

• TXT格式适配：如果是制表符分隔、固定宽度等非CSV格式，需调整解析逻辑，比如用split('\t')处理制表符，或手动截取固定宽度字段。
• 跳过表头：如果TXT包含表头，在插入前添加判断跳过：if row[0] == 'col1': continue
• 错误处理：生产环境建议添加try-except块捕获连接、读取、插入过程中的异常，避免程序崩溃。
• 驱动版本：确保本地安装对应版本的ODBC驱动（如ODBC Driver 17 for SQL Server），否则会出现连接失败。

内容的提问来源于stack exchange，提问作者wysouf