Python+Sqlite3批量更新数据库IMDB代码失败求助

常见问题点 #

• 标题匹配不一致：清理后的标题与数据库存储的标题可能存在隐性差异（如大小写、全角/半角空格残留、特殊字符）
• SQL更新语句逻辑错误：未覆盖所有匹配条目，或WHERE子句匹配范围错误
• 文本文件映射格式错误：标题与IMDB代码的分隔符不统一、存在空行或无效条目
• 事务未提交：Sqlite3默认需手动提交事务，否则更新不会持久化

排查与解决步骤 #

1. 验证标题匹配一致性 #

先确认文本文件中的标题与数据库中清理后的标题完全一致，排查隐性差异：

import sqlite3

# 从数据库取示例清理后标题
conn = sqlite3.connect('your_database.db')
cursor = conn.cursor()
cursor.execute("SELECT DISTINCT cleaned_title FROM media LIMIT 1")
db_title = cursor.fetchone()[0]
print(f"数据库标题: [{db_title}]")

# 从文本文件取对应IMDB条目的标题
with open('imdb_codes.txt', 'r', encoding='utf-8') as f:
    for line in f:
        line = line.strip()
        if 'tt' in line:
            # 假设文本格式为「清理后标题|ttxxxxxxx」
            file_title, imdb_code = line.split('|')
            if file_title.strip().lower() == db_title.strip().lower():
                print(f"文本文件标题: [{file_title}]")
                break
conn.close()

若存在差异，统一处理为小写、去除所有非打印字符后再匹配。

2. 修正批量更新逻辑 #

替换单条更新为批量映射更新，确保覆盖所有匹配条目：

# 构建标题到IMDB代码的映射字典
imdb_map = {}
with open('imdb_codes.txt', 'r', encoding='utf-8') as f:
    for line in f:
        line = line.strip()
        if not line:
            continue
        try:
            # 用split(1)避免标题含|的情况
            title, code = line.split('|', 1)
            imdb_map[title.strip().lower()] = code.strip()
        except ValueError:
            print(f"无效行: {line}")

# 批量更新数据库
conn = sqlite3.connect('your_database.db')
cursor = conn.cursor()
try:
    for title_lower, code in imdb_map.items():
        cursor.execute("""
            UPDATE media 
            SET imdb_code = ? 
            WHERE LOWER(cleaned_title) = ?
        """, (code, title_lower))
    conn.commit()
    print(f"成功更新 {cursor.rowcount} 条记录")
except Exception as e:
    conn.rollback()
    print(f"更新失败: {str(e)}")
finally:
    conn.close()

3. 确认事务提交 #

Sqlite3默认开启事务，必须调用conn.commit()才能将更改写入数据库，否则所有操作会在连接关闭后回滚。

4. 验证数据库表结构 #

假设你的media表结构如下，先确认字段约束：

CREATE TABLE media (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    original_title TEXT,
    cleaned_title TEXT,
    category TEXT,
    imdb_code TEXT  -- 确保该字段允许为空或无写入限制
);

可先执行查询验证匹配条目数：

cursor.execute("SELECT COUNT(*) FROM media WHERE LOWER(cleaned_title) = ?", (test_title_lower,))
print(f"匹配条目数: {cursor.fetchone()[0]}")

若匹配数为0，说明标题匹配仍有问题；若匹配数>0但更新无变化，检查imdb_code字段是否有只读约束。

内容的提问来源于stack exchange，提问作者Salim Sayed