如何确保Latin1编码下Pandas自定义列名可正常导入MSSQL

我有多个采用Latin1编码的CSV文件，需要加载到带自定义列名的DataFrame中，合并后导出为一个Latin1编码的大CSV文件，再导入MSSQL。

Pandas读写数据正常，MSSQL也能加载数据，但导入时因“无效字符”导致列名被移除。尝试用str.encode(encoding='latin1')处理列名无效。

1. 先确保自定义列名符合MSSQL规则 #

MSSQL对列名（标识符）有严格限制：

• 不能包含空格、逗号、斜杠、反斜杠、@#$%^&*等特殊字符
• 不能是MSSQL保留字（如SELECT、FROM、WHERE等）
• 长度不能超过128字符

如果你的列名包含上述内容，先修改为合法名称，比如把user name改成user_name，把order改成order_id。

2. 修正Pandas代码，确保列名正确编码 #

原代码存在路径遍历的bug，同时需要确保列名在导出时正确以Latin1编码写入：

import os
import pandas as pd

# 定义符合MSSQL规则的列名
cols = ["name", "name2", "etc"]

# 将列名转换为Latin1兼容的字符串（避免隐式编码问题）
cols_latin1 = [col.encode('latin1').decode('latin1') for col in cols]

dfs = []
# 遍历目标文件夹下的所有CSV文件（假设dir是文件夹列表）
for folder in dir:
    folder_full_path = os.path.join(path_to_parent_dir, folder)
    for root, _, files in os.walk(folder_full_path):
        for file in files:
            if file.lower().endswith('.csv'):
                file_path = os.path.join(root, file)
                # 用处理后的列名加载CSV
                df = pd.read_csv(file_path, names=cols_latin1, encoding='latin1')
                dfs.append(df)

# 合并数据并导出
combined_df = pd.concat(dfs, ignore_index=True)
# 导出时指定Latin1编码，确保列名和数据都正确编码
combined_df.to_csv(path_to_file, index=False, encoding='latin1')

3. 优化MSSQL导入方式 #

如果导出后的CSV仍出现列名问题，换用更可控的导入方式：

方式一：手动创建表后用BULK INSERT #

先在MSSQL中创建对应表结构（列名、数据类型匹配）：

CREATE TABLE YourTargetTable (
    name VARCHAR(255),
    name2 VARCHAR(255),
    etc VARCHAR(255)
);

然后用BULK INSERT导入，指定编码和跳过表头：

BULK INSERT YourTargetTable
FROM 'D:\path\to\your\combined_file.csv'
WITH (
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n',
    FIRSTROW = 2,  -- 跳过CSV的表头行
    CODEPAGE = 'ISO-8859-1',  -- 对应Latin1编码
    TABLOCK
);

方式二：导入向导中手动指定列名 #

在MSSQL导入向导的“平面文件源”步骤：

1. 选择文件后，确认“代码页”选择ISO-8859-1 (Latin I)
2. 切换到“高级”选项卡，手动检查并设置每一列的名称和数据类型，覆盖自动识别的结果

内容的提问来源于stack exchange，提问作者Neele22