C语言粒子模拟器：如何生成更小体积的非文本输出文件？

核心思路：直接存储二进制数值，摒弃文本转译 #

你之前用fwrite仍生成文本格式，问题出在先把数值转成字符串再写入——正确做法是直接将内存中的原始二进制数值（比如double类型的变量/数组）写入文件，这能把体积压缩到纯文本的1/5~1/10。

C端实现方式 #

• 基础二进制写入
  假设粒子状态用结构体定义：

  typedef struct __attribute__((packed)) {
      double time;
      double x, y, z; // 位置分量
      double vx, vy, vz; // 速度分量
  } ParticleState;
  

  写入时直接操作二进制数据：

  // states为存储所有粒子状态的数组，count为粒子总数
  FILE *fp = fopen("particle_states.bin", "wb");
  if (fp != NULL) {
      fwrite(states, sizeof(ParticleState), count, fp);
      fclose(fp);
  }
  

  加__attribute__((packed))是避免编译器自动给结构体加填充字节，防止后续Python解析出错。

• 带元数据的二进制格式
  如果需要记录粒子数、积分步长等信息，可以在文件开头写入头部：

  typedef struct __attribute__((packed)) {
      int particle_count;
      int step_count;
      double dt; // 积分步长
  } FileHeader;
  
  // 先写头部
  FileHeader header = {1000000, 1000, 0.001};
  FILE *fp = fopen("particle_states.bin", "wb");
  fwrite(&header, sizeof(FileHeader), 1, fp);
  // 再写粒子状态数据
  fwrite(states, sizeof(ParticleState), header.particle_count, fp);
  fclose(fp);
  

Python端读取方案（numpy/pandas） #

• 直接读取二进制文件
  先定义匹配C端结构体的numpy dtype：

  import numpy as np
  import pandas as pd
  
  # 对应C端的结构体类型，<表示小端字节序（适配x86架构）
  dtype = np.dtype([
      ('time', '<f8'),
      ('x', '<f8'), ('y', '<f8'), ('z', '<f8'),
      ('vx', '<f8'), ('vy', '<f8'), ('vz', '<f8')
  ])
  
  # 读取整个文件并转成DataFrame
  data = np.fromfile('particle_states.bin', dtype=dtype)
  df = pd.DataFrame(data)
  

• 读取带头部的二进制文件
  先解析头部元数据，再读取粒子数据：

  header_dtype = np.dtype([
      ('particle_count', '<i4'),
      ('step_count', '<i4'),
      ('dt', '<f8')
  ])
  
  with open('particle_states.bin', 'rb') as f:
      # 读取头部（仅1条）
      header = np.fromfile(f, dtype=header_dtype, count=1)[0]
      # 读取后续的粒子状态数据
      data = np.fromfile(f, dtype=dtype, count=header['particle_count'])
      df = pd.DataFrame(data)
  

进阶优化 #

• 分块存储：如果单步数据量过大，按积分步分块写入（比如每步生成一个子文件），或在文件中记录每步数据的偏移位置，方便后续按需读取，避免一次性加载全量数据。
• 压缩存储：C端用gzopen替代fopen写入gzip压缩的二进制文件，Python端用np.fromfile(gzip.open('particle_states.bin.gz', 'rb'), dtype=dtype)读取，体积可再缩小30%~70%，仅增加少量CPU开销。

避坑提醒 #

• 字节序对齐：如果C端和Python端运行在不同架构（比如x86小端/部分ARM大端），需统一字节序——C端用htond等函数转成网络字节序，Python端在dtype中指定'>f8'（大端）或'<f8'（小端）。

内容的提问来源于stack exchange，提问作者lghizoni