H2O模型/MOJO的非文件系统存储方案探讨

核心思路 #

H2O的MOJO加载API确实要求传入文件路径，但保存环节可以直接获取字节流；加载时则通过内存临时文件中转，完全避免磁盘写入操作。以下是具体实现方案：

1. 直接获取MOJO字节流并上传（保存流程） #

H2O的download_mojo()方法如果不指定path参数，会直接返回MOJO文件的字节内容，无需写入本地文件。你可以直接将这些字节上传至云存储或存入数据库：

示例：上传到云存储（以S3为例） #

# 假设已训练好H2O模型
trained_model = your_trained_h2o_model_instance

# 直接获取MOJO字节流
mojo_bytes = trained_model.download_mojo()

# 上传至S3
import boto3
s3_client = boto3.client('s3')
s3_client.put_object(
    Bucket='your-bucket-name',
    Key='models/your-model.mojo',
    Body=mojo_bytes
)

示例：存入数据库（以PostgreSQL bytea类型为例） #

import psycopg2

# 连接数据库
conn = psycopg2.connect(
    dbname='your-db',
    user='your-user',
    password='your-pass',
    host='your-host'
)
cur = conn.cursor()

# 存入MOJO字节
cur.execute(
    "INSERT INTO model_store (model_name, mojo_data) VALUES (%s, %s)",
    ('your-model', mojo_bytes)
)
conn.commit()
cur.close()
conn.close()

2. 从云存储/数据库加载MOJO（加载流程） #

由于H2OMojoModel.load()必须接收文件路径，我们用Python的tempfile模块创建内存临时文件中转字节流，文件会在使用后自动删除，不会残留磁盘文件：

示例：从S3加载并初始化MOJO #

from h2o.mojo import H2OMojoModel
import tempfile

# 从S3下载MOJO字节
s3_response = s3_client.get_object(
    Bucket='your-bucket-name',
    Key='models/your-model.mojo'
)
mojo_bytes = s3_response['Body'].read()

# 创建临时文件加载MOJO
with tempfile.NamedTemporaryFile(mode='wb', delete=True, suffix='.mojo') as tmp_file:
    tmp_file.write(mojo_bytes)
    tmp_file.flush()  # 确保字节完全写入
    loaded_model = H2OMojoModel.load(tmp_file.name)

# 使用加载后的模型预测
predictions = loaded_model.predict(your_input_dataframe)

示例：从数据库加载并初始化MOJO #

cur.execute("SELECT mojo_data FROM model_store WHERE model_name = %s", ('your-model',))
mojo_bytes = cur.fetchone()[0]

# 同样用临时文件加载
with tempfile.NamedTemporaryFile(mode='wb', delete=True, suffix='.mojo') as tmp_file:
    tmp_file.write(mojo_bytes)
    tmp_file.flush()
    loaded_model = H2OMojoModel.load(tmp_file.name)

注意事项 #

• 如果你的H2O版本较旧，download_mojo()可能不支持直接返回字节流，此时可以用tempfile.NamedTemporaryFile创建临时文件路径，传给download_mojo(path=tmp_file.name)，再读取字节上传，同样不会写入磁盘。
• 临时文件默认使用系统内存临时文件系统（如Linux的/tmp为tmpfs），性能和内存操作一致，无磁盘IO开销。

内容的提问来源于stack exchange，提问作者8forty