股票数组数据入库及适配数据库构建的最优方案咨询

一、数据库表结构设计 #

针对这种「单日期对应多组(价格:成交量)」的非固定长度数据，采用规范化的关系型表结构是最优选择，既能保证数据扩展性，也方便后续查询统计。

1. 成交明细核心表（核心存储） #

这是存储核心交易数据的表，每条记录对应一组(价格:成交量)，结构清晰且适配任意数量的明细条目：

CREATE TABLE stock_trade_details (
    id BIGINT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
    trade_date DATE NOT NULL COMMENT '交易日期',
    price DECIMAL(10,2) NOT NULL COMMENT '成交价格',
    volume BIGINT NOT NULL COMMENT '成交量',
    create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
    -- 建立联合索引，优化按日期+价格的查询效率
    INDEX idx_date_price (trade_date, price)
);

2. 日期维度表（可选） #

如果需要存储日期相关的额外维度信息（如是否为交易日、所属季度等），可以补充主表来关联：

CREATE TABLE daily_stock_dates (
    trade_date DATE PRIMARY KEY COMMENT '交易日期',
    is_trading_day TINYINT(1) DEFAULT 1 COMMENT '是否为交易日',
    quarter TINYINT COMMENT '所属季度',
    create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
);

此时可在stock_trade_details的trade_date字段添加外键约束，保证数据一致性。

二、批量插入数据的最佳方式 #

由于单日期对应的明细数量不固定，批量插入是最优方案，能大幅减少数据库连接开销，提升插入效率。以下以Python+MySQL为例给出实现思路：

1. 数据预处理 #

先把原始的嵌套数组转换成数据库需要的扁平结构，每个(价格:成交量)对应一条待插入记录：

my_data = [
    ["2022-12-01", (2000,157),(2005,5), (2010,23654), (2050,132)],
    ["2022-12-02", (1990,4),(2000,123)],
    ["2022-12-03", (2010,11),(2005,12100),(2050,342)],
    ["2022-12-04", (2080,1230),(2090,55),(3010,34212354),(3050,29873)]
]

# 转换为批量插入格式：[(日期, 价格, 成交量), ...]
insert_data = []
for item in my_data:
    trade_date = item[0]
    for pv_pair in item[1:]:
        price, volume = pv_pair
        insert_data.append( (trade_date, price, volume) )

2. 批量插入执行 #

使用数据库驱动的批量插入方法（如executemany），避免循环单条插入的低效操作：

import mysql.connector

# 建立数据库连接
conn = mysql.connector.connect(
    host='你的数据库地址',
    user='用户名',
    password='密码',
    database='目标数据库'
)
cursor = conn.cursor()

# 批量插入SQL模板
insert_sql = """
INSERT INTO stock_trade_details (trade_date, price, volume)
VALUES (%s, %s, %s)
"""

# 执行批量插入并提交
cursor.executemany(insert_sql, insert_data)
conn.commit()

# 关闭连接
cursor.close()
conn.close()

3. 注意事项 #

• 若数据量极大（百万级以上），可将数据拆分多个批次插入，避免单次插入数据量过大导致内存溢出或数据库超时。
• 提前校验数据格式：确保日期格式合法，价格、成交量为数值类型，避免插入时出现类型错误。

内容的提问来源于stack exchange，提问作者shoon kim