从多表提取数据存入同一Python列表时部分记录缺失的问题

针对你在多线程WebSocket程序中从多个无关联表查询nRic字段时出现的记录缺失问题，以下是具体的排查方向和修复方案：

1. 优先排查线程安全问题（最可能的原因） #

pyodbc的Connection和Cursor对象完全不支持多线程共享，如果你的代码被多个线程复用同一个连接或游标，会导致查询结果混乱、数据丢失，这在多线程环境下是典型问题。

修复方案：
每个线程独立创建数据库连接和游标，避免共享资源。可以封装成独立函数，在线程内部调用：

import pyodbc

def fetch_all_ric():
    ric_list = []
    # 每个线程单独建立连接
    conn = pyodbc.connect('Trusted_Connection=yes;DSN=x.x.x.x;UID=xxx;PWD=xxx')
    try:
        cur = conn.cursor()
        # 批量处理所有表的查询，简化代码
        target_tables = [
            'STOCK.dbo.Currency',
            'STOCK.dbo.HIBO',
            'STOCK.dbo.HK_Gold',
            'STOCK.dbo.US_Bond',
            'STOCK.dbo.Precious_metals',
            'STOCK.dbo.NorthBoundQuota'
        ]
        for table in target_tables:
            sql = f"SELECT nRic FROM {table} WHERE nRic IS NOT NULL"
            cur.execute(sql)
            # 用extend一次性添加所有结果，比循环append更高效
            ric_list.extend(row[0] for row in cur.fetchall())
    finally:
        # 确保资源被释放
        cur.close()
        conn.close()
    return ric_list

2. 游标复用的潜在残留问题 #

即使在单线程下，复用游标时如果上一次查询的结果集没有被完全读取（比如某些驱动的缓冲机制），可能干扰后续查询。你可以在每次fetchall()后强制清空结果集：

修复方案：
在每个fetchall()后添加cur1.nextset()：

cur1.execute(sql1)
results = cur1.fetchall()
ric.extend([x[0] for x in results])
cur1.nextset()  # 清空游标残留的结果集

或者每个查询使用独立的游标（同一连接内），避免复用带来的问题。

3. 验证单表查询结果是否正确 #

先单独验证每个表的查询是否能返回预期记录数：

• 在数据库客户端执行SELECT COUNT(*) FROM [表名] WHERE nRic IS NOT NULL，记录每个表的预期条数。
• 在代码中添加打印，输出每个查询返回的记录数，对比是否和数据库端的结果一致，定位是哪个表的记录缺失。

示例代码：

# 在每个查询后添加打印
cur1.execute(sql1)
results = cur1.fetchall()
print(f"Currency表返回{len(results)}条记录")
ric.extend([x[0] for x in results])

4. 捕获查询异常 #

如果某个查询抛出异常（比如表名拼写错误、权限不足），后续查询会直接终止，导致部分记录缺失。添加异常捕获可以快速定位问题：

修复方案：

ric = []
conn1 = pyodbc.connect('Trusted_Connection=yes;DSN=x.x.x.x;UID=xxx;PWD=xxx')
conn1.autocommit = True  # 开启自动提交，避免事务影响查询
cur1 = conn1.cursor()

# 把所有查询语句放到列表中统一处理
sql_queries = [
    ("Currency", "SELECT nRic FROM STOCK.dbo.Currency WHERE nRic IS NOT NULL"),
    ("HIBO", "SELECT nRic FROM STOCK.dbo.HIBO WHERE nRic IS NOT NULL"),
    ("HK_Gold", "SELECT nRic FROM STOCK.dbo.HK_Gold WHERE nRic IS NOT NULL"),
    ("US_Bond", "SELECT nRic FROM STOCK.dbo.US_Bond WHERE nRic IS NOT NULL"),
    ("Precious_metals", "SELECT nRic FROM STOCK.dbo.Precious_metals WHERE nRic IS NOT NULL"),
    ("NorthBoundQuota", "SELECT nRic FROM STOCK.dbo.NorthBoundQuota WHERE nRic IS NOT NULL")
]

for table_name, sql in sql_queries:
    try:
        cur1.execute(sql)
        results = cur1.fetchall()
        ric.extend([x[0] for x in results])
        print(f"成功读取{table_name}表的{len(results)}条记录")
    except Exception as e:
        print(f"读取{table_name}表失败: {str(e)}")

print(f"总记录数: {len(ric)}")
cur1.close()
conn1.close()

5. 检查连接的事务设置 #

如果连接处于未提交的事务中，可能导致查询结果无法正常读取。可以在建立连接后开启自动提交：

conn1 = pyodbc.connect('Trusted_Connection=yes;DSN=x.x.x.x;UID=xxx;PWD=xxx')
conn1.autocommit = True

内容的提问来源于stack exchange，提问作者Toby wkw