如何用Python循环读取C++生成的二进制文件中的double数据？

问题根源 #

1. 文件打开模式错误：用文本模式'r'读取二进制文件，会触发系统对换行符等字符的自动转换，直接破坏原始二进制数据结构，这是读取到错误k值的核心原因。
2. 类型匹配问题：std::size_t的字节长度依赖系统架构（32位系统为4字节，64位为8字节），需保证numpy读取的类型和C++写入的类型完全一致。
3. 逐次读取的指针偏移风险：循环中每次读取单个double，不仅效率低下，还容易因文件指针偏移计算错误导致索引越界。

修正代码 #

import numpy as np
import matplotlib.pyplot as plt

with open('file', 'rb') as f:
    fig, ax = plt.subplots()
    # 读取std::size_t类型的k：64位系统用uint64，32位系统替换为uint32
    k = np.fromfile(f, dtype=np.uint64, count=1)[0]
    # 一次性读取所有坐标数据，避免逐次读取的指针偏移问题
    coords = np.fromfile(f, dtype=np.double, count=2 * k)
    # 重塑为k组(x,y)对
    coords = coords.reshape(k, 2)
    # 批量绘制散点图
    ax.scatter(coords[:, 0], coords[:, 1], c='black')
    ax.set_xlim(0, 1)
    ax.set_ylim(0, 1)
    plt.show()

配套C++写入注意事项 #

确保C++端用二进制模式写入文件，示例代码：

#include <fstream>
#include <vector>

int main() {
    const std::size_t k = 4096;
    std::ofstream out_file("file", std::ios::binary);
    // 写入k值
    out_file.write(reinterpret_cast<const char*>(&k), sizeof(k));
    // 示例：写入2*k个double类型的坐标数据
    std::vector<double> data(2 * k, 0.5); // 用测试数据填充
    out_file.write(reinterpret_cast<const char*>(data.data()), data.size() * sizeof(double));
    out_file.close();
    return 0;
}

跨平台兼容补充 #

如果需要跨不同架构系统读写，需统一字节序：

• C++端写入时转换为固定字节序（比如小端）
• Python读取时指定字节序，例如：

  k = np.fromfile(f, dtype=np.dtype('uint64').newbyteorder('<'), count=1)[0]
  

内容的提问来源于stack exchange，提问作者0xbadf00d