如何在C语言中高效读取大文件到结构体指针或结构体数组？

你的核心问题是**C语言结构体的内存对齐（padding）**导致读取二进制文件时数据错位：编译器会自动在结构体成员之间/末尾添加填充字节，让成员地址符合对齐规则（提升内存访问效率），这使得你手动计算的30字节和结构体实际占用的内存大小不一致，用30字节作为读取长度就会导致后续成员（temperature、speed、timestamp）读错位，出现乱码。

最优解决方案：禁用结构体自动对齐 #

让结构体的内存布局严格匹配你定义的成员字节总和（30字节），这样可以直接读取整个结构体，效率最高。不同编译器的实现方式如下：

GCC/Clang 版本 #

struct deviceData{
  int id;
  char serial[10];
  float temperature;
  float speed; 
  long timestamp; 
} __attribute__((packed)); // 禁用对齐，强制按成员顺序紧凑排列

MSVC 版本 #

#pragma pack(push, 1) // 保存当前对齐规则，设置为1字节对齐
struct deviceData{
  int id;
  char serial[10];
  float temperature;
  float speed; 
  long timestamp; 
};
#pragma pack(pop) // 恢复之前的对齐规则

修改后，sizeof(struct deviceData)会等于30字节，此时用以下代码读取即可正确解析所有成员：

FILE* fp = fopen("your_device_file.bin", "rb"); // 必须用二进制模式打开！
struct deviceData fileItems;
while (fread(&fileItems, sizeof(struct deviceData), 1, fp) == 1) {
  // 处理当前条目数据
}
fclose(fp);

快速批量读取优化（满足最快需求） #

如果要一次性读取所有条目，避免循环开销，可以先计算文件大小和条目数，动态分配内存后批量读取：

FILE* fp = fopen("your_device_file.bin", "rb");
if (!fp) { /* 处理文件打开失败 */ }

// 获取文件总大小
fseek(fp, 0, SEEK_END);
long file_size = ftell(fp);
fseek(fp, 0, SEEK_SET);

// 计算条目数
int item_count = file_size / sizeof(struct deviceData);
struct deviceData* all_items = malloc(item_count * sizeof(struct deviceData));
if (!all_items) { /* 处理内存分配失败 */ }

// 一次性读取所有条目
size_t read_count = fread(all_items, sizeof(struct deviceData), item_count, fp);
if (read_count != item_count) {
  // 处理读取不完整的情况（比如文件损坏）
}

// 批量处理all_items中的数据
// ...

free(all_items);
fclose(fp);

备选方案：手动按成员偏移读取（不修改结构体） #

如果无法修改结构体定义（比如已有代码依赖原结构体布局），可以用offsetof宏计算每个成员的偏移量，逐个读取并跳过填充字节：

#include <stddef.h> // 引入offsetof宏

FILE* fp = fopen("your_device_file.bin", "rb");
struct deviceData fileItems;

while (1) {
  // 读取id
  if (fread(&fileItems.id, sizeof(fileItems.id), 1, fp) != 1) break;
  // 读取serial
  if (fread(fileItems.serial, sizeof(fileItems.serial), 1, fp) != 1) break;
  // 跳过serial后的填充字节
  size_t padding = offsetof(struct deviceData, temperature) - (offsetof(struct deviceData, serial) + sizeof(fileItems.serial));
  fseek(fp, padding, SEEK_CUR);
  // 读取temperature
  if (fread(&fileItems.temperature, sizeof(fileItems.temperature), 1, fp) != 1) break;
  // 读取speed
  if (fread(&fileItems.speed, sizeof(fileItems.speed), 1, fp) != 1) break;
  // 读取timestamp
  if (fread(&fileItems.timestamp, sizeof(fileItems.timestamp), 1, fp) != 1) break;

  // 处理当前条目
}
fclose(fp);

额外注意事项 #

1. 必须用二进制模式打开文件：C语言中用"rb"（读二进制）模式，避免文本模式自动转换换行符导致数据错位。
2. 字节序检查：如果设备文件是大端字节序（比如嵌入式设备生成），而你的程序运行在小端系统（x86/x86_64），需要对整数、浮点数进行字节序转换（比如用ntohl、自定义浮点数转换函数等）。你当前id和serial正常，说明字节序匹配，暂时无需处理，但如果后续仍有异常可以排查这点。
3. 错误检查：所有文件操作（fopen、fread、fseek）都要检查返回值，避免忽略文件损坏、内存不足等问题。

内容的提问来源于stack exchange，提问作者PandaBanda