SQLite中基于已有表字段值迭代建表,仅生成首表即停止如何解决?
故障根本原因
SQLite游标是有状态的单通道对象:游标内部会缓存当前关联查询的完整结果集,一旦对同一个游标对象调用execute()执行任意新SQL语句,游标会立刻清空当前缓存的、尚未遍历完成的旧查询结果集,转而执行新逻辑,直接导致遍历流程提前终止。
你的代码执行路径完全命中了这个机制:
- 执行
cur.execute('SELECT STOCK_CODE FROM psei_raw')后,游标关联上全量股票代码的查询结果集 - 手动调用
cur.fetchone()取出第一行结果,游标指针移到下一行 - 进入
for row in cur循环,拿到第一行循环对应的股票代码后,直接在循环体中调用同一个cur.execute()执行建表语句——这一步触发了游标状态重置,之前缓存的全量股票代码结果集被清空,循环迭代器瞬间走到末尾,程序自然只会执行一次建表操作就跳出循环。
之前用
print()验证逻辑时一切正常,是因为
已验证有效的修复方案
你目前采用的“先遍历查询结果存入独立列表、再二次遍历列表执行建表”的方案逻辑完全自洽:把“读取查询结果”和“执行建表DDL”两个操作解耦——先把所有股票代码从游标中取出,存到和游标无关联的Python普通列表,等游标不再持有需要遍历的结果集时,再执行后续建表操作,从根源上避开了游标状态被重置的问题。
对应的可参考实现代码:
import sqlite3 conn = sqlite3.connect('PSEIraw.sqlite') cur = conn.cursor() # 第一步:一次性取出所有股票代码存入列表,脱离游标遍历状态 cur.execute('SELECT DISTINCT STOCK_CODE FROM psei_raw') stock_codes = [row[0] for row in cur.fetchall()] # 第二步:遍历独立列表执行建表,无游标状态冲突 for code in stock_codes: create_sql = f'CREATE TABLE IF NOT EXISTS "{code}" (Date DATE, Open DECIMAL, High DECIMAL, Low DECIMAL, Close Decimal, Volume DECIMAL)' cur.execute(create_sql) conn.commit() conn.close()
适配你当前场景的优化提示
- 如果不想把查询结果全量转列表,可以拆分两个独立游标:一个游标专门读取查询结果,另一个独立游标专门执行建表DDL,两个游标状态互不干扰,同样可以避免重置问题。
- 你当前200+张单股票表的结构虽然不是关系型数据库的最优设计,但适配你当前的EOD数据分表存储流程的前提下,注意不要每条建表语句都单独commit,和现有逻辑一样等所有建表操作执行完再统一提交事务,能大幅降低IO开销。
内容的提问来源于stack exchange,提问作者martinrichardf
相关产品推荐
相关产品推荐

