Python实现CSV转SQLite遇字段不匹配及Path列偏移问题求助

问题根源 #

你的CSV文件并非严格保持4列格式：部分行的Path数据要么因包含分隔符被拆分为多列，要么被存储在Path列之后的1-2列中，这直接导致了pandas解析报错和SQLite插入时的参数数量不匹配。

解决方案 #

下面的Python函数会手动处理CSV的可变列数，将数据整理为标准的4列后再插入SQLite数据库，同时兼容Path列偏移或被拆分的场景：

import csv
import sqlite3

def csv_to_sqlite(csv_file_path, db_file_path, table_name="settings"):
    # 初始化SQLite连接
    conn = sqlite3.connect(db_file_path)
    cursor = conn.cursor()

    # 创建目标表（固定4列）
    create_table_sql = f"""
    CREATE TABLE IF NOT EXISTS {table_name} (
        Setting TEXT,
        State TEXT,
        Comment TEXT,
        Path TEXT
    )
    """
    cursor.execute(create_table_sql)

    # 读取并处理CSV数据
    with open(csv_file_path, "r", newline="", encoding="utf-8") as csv_file:
        csv_reader = csv.reader(csv_file, quotechar='"')  # 处理带引号的字段（避免分隔符拆分Path）
        next(csv_reader)  # 跳过表头行

        for row_index, row in enumerate(csv_reader, start=2):  # 行号从2开始（表头为第1行）
            # 按行的字段数处理，整理为4列数据
            if len(row) == 4:
                setting, state, comment, path = row
            elif len(row) == 5:
                setting, state, comment, path_col, real_path = row
                # 若原Path列为空，则取后续列的内容作为真实Path；否则合并两部分
                path = real_path if not path_col.strip() else f"{path_col}{real_path}"
            elif len(row) == 6:
                setting, state, comment, p1, p2, p3 = row
                # 合并所有非空的路径部分（可根据实际需求调整拼接规则）
                path_segments = [seg for seg in [p1, p2, p3] if seg.strip()]
                path = "".join(path_segments)
            else:
                print(f"跳过异常行（第{row_index}行）：字段数为{len(row)}，无法匹配4列格式")
                continue

            # 插入整理后的数据到SQLite
            insert_sql = f"""
            INSERT INTO {table_name} (Setting, State, Comment, Path)
            VALUES (?, ?, ?, ?)
            """
            cursor.execute(insert_sql, (setting, state, comment, path))

    # 提交事务并关闭连接
    conn.commit()
    conn.close()
    print(f"转换完成：数据已写入{db_file_path}的{table_name}表")

关键细节说明 #

1. 兼容带分隔符的Path：通过quotechar='"''参数，确保被双引号包裹的Path（如"C:\My Files\path.csv"）不会被逗号拆分为多列。
2. 灵活处理列偏移：针对5列或6列的行，根据原Path列是否为空来决定直接使用后续列内容，或合并多段路径内容。
3. 避免参数不匹配：所有处理后的行都严格整理为4个字段，确保SQL插入时参数数量与表结构一致。
4. 异常行处理：对不符合列数的行打印警告并跳过，避免整个转换流程中断。

使用示例 #

# 调用函数，替换为你的CSV和数据库路径
csv_to_sqlite("your_data.csv", "output.db")

内容的提问来源于stack exchange，提问作者Topaz Mothada