使用Python构建随机销售表时内核崩溃问题求助

为什么内核崩溃？ #

你用pd.MultiIndex.from_product生成的是全笛卡尔积，计算一下数据规模就懂了：

• 2年日期≈730天
• 5个门店
• 55万条产品
• 5万条客户
  总记录数 = 730 × 5 × 550000 × 50000 = 100,125,000,000,000（超过100万亿条），这完全超出了普通机器的内存极限，直接导致内存溢出，内核崩溃。你只需要每年50万条（共100万条），根本不需要生成全量笛卡尔积。

正确的实现方式：随机生成目标规模的销售数据 #

直接按需求的记录数随机采样各维度数据，再关联客户、产品表的附加字段，步骤如下：

1. 定义基础参数 #

import pandas as pd
import numpy as np

# 假设你的日期序列是date_range_2022_2023（包含2年的所有日期）
# 门店编码store_codes = [1,2,3,4,5]
# df_customers是客户表（含CustomerID, FirstName, LastName）
# df3是产品表（含ProductID, ProductName）

# 目标总记录数：2年共100万条
total_records = 1_000_000

2. 随机生成核心字段 #

# 随机采样各维度数据
sales_data = pd.DataFrame({
    'Date': np.random.choice(date_range_2022_2023, size=total_records),
    'StoreID': np.random.choice(store_codes, size=total_records),
    'ProductID': np.random.choice(df3['ProductID'], size=total_records),
    'CustomerID': np.random.choice(df_customers['CustomerID'], size=total_records)
})

3. 关联客户表和产品表的附加字段 #

# 关联客户姓名
sales_data = sales_data.merge(
    df_customers[['CustomerID', 'FirstName', 'LastName']],
    on='CustomerID',
    how='left'
)

# 关联产品名称
sales_data = sales_data.merge(
    df3[['ProductID', 'ProductName']],
    on='ProductID',
    how='left'
)

4. 调整列顺序并导出CSV #

# 调整为你需要的列顺序
final_columns = ['CustomerID', 'FirstName', 'LastName', 'ProductName', 'ProductID', 'StoreID', 'Date']
sales_data = sales_data[final_columns]

# 导出为CSV
sales_data.to_csv('simulated_sales.csv', index=False)

额外优化（可选） #

如果想要更贴近真实销售场景，可以：

• 给热门产品设置更高的采样权重
• 按日期分布调整采样概率（比如节假日销量更高）
• 给老客户设置更高的采样概率

内容的提问来源于stack exchange，提问作者Dolunaykiz