解决爬虫报错：'list'对象无'to_sql'属性（DND数据转SQLite）

错误根源 #

报错'list' object has no attribute 'to_sql'说明你定义的df_pandas变量实际是列表类型，而非Pandas DataFrame。to_sql是DataFrame独有的方法，列表自然没有这个属性。

修复步骤 #

1. 修正数据转换逻辑 #

爬取到的法术数据通常是字典组成的列表（比如[{'法术名': '魔法飞弹', '等级': 1}, ...]），你需要用pd.DataFrame()将这个列表转换成DataFrame，不能直接把列表赋值给df_pandas。

2. 修正代码示例 #

假设你原本的错误代码片段如下：

# 爬取得到法术列表
spells_data = crawl_dnd_spells()
df_pandas = spells_data  # 直接把列表赋值给变量，错误
# 连接数据库
conn = sqlite3.connect('dnd_spells.db')
df_pandas.to_sql('spells', conn, if_exists='replace')  # 触发报错

修正后的代码：

import pandas as pd
import sqlite3

# 爬取得到法术列表（字典组成的列表）
spells_data = crawl_dnd_spells()
# 将列表转换为Pandas DataFrame
df_pandas = pd.DataFrame(spells_data)
# 连接SQLite数据库
conn = sqlite3.connect('dnd_spells.db')
# 写入数据（index=False避免写入默认索引列）
df_pandas.to_sql('spells', conn, if_exists='replace', index=False)
# 关闭数据库连接
conn.close()

3. 验证变量类型（可选） #

在写入数据库的代码前添加一行，确认df_pandas的类型：

print(type(df_pandas))  # 正常输出应为 <class 'pandas.core.frame.DataFrame'>，若输出list则说明转换未完成

4. 额外排查点 #

• 如果转换DataFrame时出错，检查爬取的spells_data列表中每个元素是否是结构一致的字典，避免出现非字典元素或键名不一致的情况。
• 确认已正确导入pandas库，无拼写错误。

为什么之前的尝试没用？ #

你添加的conn.cursor()和%load_ext sql是数据库操作的辅助工具，但核心问题是df_pandas的类型错误，这些操作无法解决根本问题。

内容的提问来源于stack exchange，提问作者Christina