如何在JSON中高效存储大型数值向量以减小文件体积？

针对你提到的大型浮点数向量JSON序列化体积过高的问题，以下是几种优先优化体积、且支持Python/JavaScript开源库解析的方案：

1. 二进制转Base64编码（最优体积压缩） #

将float32数组直接打包为二进制字节流，再用Base64编码为字符串嵌入JSON。Base64的体积仅为原始二进制的1.33倍左右，远低于明文浮点数的序列化体积（你的场景下从15字节/浮点数降到约5.3字节/浮点数）。

Python实现（用标准库） #

import struct
import base64
import json

# 编码流程
float_vector = [0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877]
# 打包为float32二进制
binary_data = struct.pack(f"{len(float_vector)}f", *float_vector)
# 转Base64字符串
base64_str = base64.b64encode(binary_data).decode("utf-8")
# 嵌入JSON（连续索引可省略，仅存长度）
json_payload = json.dumps({
    "length": len(float_vector),
    "values": base64_str
})

# 解码流程
parsed = json.loads(json_payload)
decoded_binary = base64.b64decode(parsed["values"])
decoded_floats = struct.unpack(f"{parsed['length']}f", decoded_binary)

JavaScript实现 #

浏览器环境

// 编码流程
const floatVector = new Float32Array([0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877]);
const uint8Arr = new Uint8Array(floatVector.buffer);
// 转Base64字符串
const base64Str = btoa(String.fromCharCode(...uint8Arr));
const jsonStr = JSON.stringify({
    length: floatVector.length,
    values: base64Str
});

// 解码流程
const parsed = JSON.parse(jsonStr);
const binaryStr = atob(parsed.values);
const uint8Decoded = new Uint8Array(binaryStr.length);
for (let i = 0; i < binaryStr.length; i++) {
    uint8Decoded[i] = binaryStr.charCodeAt(i);
}
const decodedFloats = new Float32Array(uint8Decoded.buffer);

Node.js环境（用Buffer简化）

// 编码流程
const floatVector = new Float32Array([0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877]);
const base64Str = Buffer.from(floatVector.buffer).toString("base64");
const jsonStr = JSON.stringify({
    length: floatVector.length,
    values: base64Str
});

// 解码流程
const parsed = JSON.parse(jsonStr);
const buffer = Buffer.from(parsed.values, "base64");
const decodedFloats = new Float32Array(buffer.buffer, buffer.byteOffset, buffer.length / 4);

2. 整数缩放编码（低解析开销+较好压缩） #

如果业务允许牺牲极少量精度，可以将浮点数乘以固定缩放倍数（如10^6）转为整数后序列化。整数的JSON字符串长度远短于浮点数，且解析无需二进制处理。

Python示例 #

import json

scale = 10**6  # 根据数值范围调整缩放倍数
float_vector = [0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877]

# 编码
int_vector = [round(x * scale) for x in float_vector]
json_payload = json.dumps({
    "indices": list(range(len(int_vector))),
    "values": int_vector,
    "scale": scale
})

# 解码
parsed = json.loads(json_payload)
decoded_floats = [x / parsed["scale"] for x in parsed["values"]]

JavaScript示例 #

const scale = 10**6;
const floatVector = [0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877];

// 编码
const intVector = floatVector.map(x => Math.round(x * scale));
const jsonStr = JSON.stringify({
    indices: Array.from({length: intVector.length}, (_, i) => i),
    values: intVector,
    scale: scale
});

// 解码
const parsed = JSON.parse(jsonStr);
const decodedFloats = parsed.values.map(x => x / parsed.scale);

3. 专用JSON二进制扩展库（简化开发） #

如果不想手动处理二进制编码，可以使用支持JSON嵌入二进制的开源库，比如json-binary（Python和JavaScript均有对应实现），库会自动完成二进制与字符串的转换，使用更便捷。

Python（安装json-binary库） #

import json_binary

float_vector = [0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877]
# 编码
json_payload = json_binary.dumps({"values": float_vector})
# 解码
parsed = json_binary.loads(json_payload)
decoded_floats = parsed["values"]

JavaScript（安装json-binary npm包） #

const jsonBinary = require('json-binary');

const floatVector = [0.0003963873381352339, 0.0008297143834970196, 0.0007295088369519877];
// 编码
const jsonStr = jsonBinary.stringify({ values: floatVector });
// 解码
const parsed = jsonBinary.parse(jsonStr);
const decodedFloats = parsed.values;

内容的提问来源于stack exchange，提问作者00__00__00