棋类AI竞赛中如何在单.py文件内高效存储大体积模型数据？

问题核心 #

竞赛平台仅允许提交单个.py文件，且只能依赖Numpy存储模型，之前直接嵌入npz二进制内容因非ASCII编码、语法错误失败。核心解决思路是将压缩后的模型数据转换为ASCII安全的base64编码，消除编码冲突后嵌入代码。

步骤1：导出模型为base64字符串 #

先将模型参数压缩后转成纯ASCII的base64编码，避免后续嵌入时的编码问题：

import numpy as np
import base64
from io import BytesIO

# 替换为你的实际模型参数（示例为随机数组）
model_params = {
    'policy_weights': np.random.randn(128, 128).astype(np.float32),
    'value_biases': np.random.randn(64).astype(np.float32),
    # 其他模型参数...
}

# 在内存中生成压缩的npz数据，无需写入本地文件
buffer = BytesIO()
np.savez_compressed(buffer, **model_params)
buffer.seek(0)

# 转成base64字符串（纯ASCII编码）
model_base64 = base64.b64encode(buffer.read()).decode('ascii')

# 将编码后的字符串写入临时文件，方便后续复制
with open('model_encoded.txt', 'w', encoding='ascii') as f:
    f.write(model_base64)

步骤2：在竞赛提交文件中嵌入并加载模型 #

将生成的base64字符串直接作为变量嵌入.py文件，解码后还原模型：

import numpy as np
import base64
from io import BytesIO

# 粘贴从model_encoded.txt中复制的base64内容
MODEL_ENCODED = """
YOUR_GENERATED_BASE64_STRING_HERE
"""

def load_trained_model():
    # 解码base64内容，去除前后空白避免错误
    model_data = base64.b64decode(MODEL_ENCODED.strip())
    # 加载压缩的npz文件
    with BytesIO(model_data) as buffer:
        params = np.load(buffer)
    return params

# 加载模型并调用参数
model = load_trained_model()
policy_weights = model['policy_weights']

关键注意事项 #

• 确保base64字符串被正确包裹在三引号中，base64编码不会生成未转义的三引号，无需额外处理
• 若文件体积仍超出限制，可对模型参数做量化处理（如将float64转为float32/16），或移除冗余参数进一步压缩数据

内容的提问来源于stack exchange，提问作者Haoson Q