基于CSV字段规则解析遥测二进制文件的实现方案咨询
遥测二进制文件解析方案
疑问解答
1. CSV中哪些列需要用于构建struct对象?
- 核心必填列:
Byte:对应字段在单数据块内的字节偏移量,用于定位字段起始存储位置Tlm Type:对应字段的二进制存储类型,用来匹配struct格式字符(例如uint8对应B、uint16对应H)
- 扩展可选列(用于后续数值转义,不需要参与struct结构构建):
Mnemonic:作为解析后字段的命名,方便后续数据访问Tlm Conversion (EU/lsb):原始值转工程值的换算系数Eng. Units (EU):枚举值映射规则、物理单位定义
Hex Addr列和Byte列对应,仅用于规则校验,不需要参与struct构建。
2. 首个数据块是否对应data[:2068]?
是的。你读取的是完整二进制文件的字节流,数据块固定大小为2068字节,因此第一个数据块为data[0:2068],第二个为data[2068:4136],以此类推。你当前的文件总长度为7510976字节,除以2068刚好等于3632,说明文件完整无截断。
完整实现思路
- 预处理CSV规则表
- 读入CSV后按
Byte列升序排序,保证字段顺序和二进制存储顺序一致 - 建立
Tlm Type到struct格式字符的映射表,航天遥测通常为大端字节序,格式串开头统一加> - 若存在偏移量不连续的情况,中间空白位置用
x(struct填充字符,自动跳过对应字节)占位
- 读入CSV后按
- 动态构建struct解析模板
- 把所有字段对应格式字符、填充字符拼接为完整的struct格式串
- 同步维护字段名、换算系数、枚举映射列表,和解析出的原始值一一对应
- 遍历解析全量数据块
- 按步长2068切割完整字节流
- 每个块用
struct.unpack解析得到原始值列表,乘以对应换算系数得到工程值,有枚举规则的映射为可读字符串 - 时间字段单独处理:把TAI秒数叠加2000-01-01 00:00:00的时间基准,转换为可读时间格式
- 结果存储
- 解析结果可直接转换为Pandas DataFrame,方便后续分析、导出
示例代码
import struct import pandas as pd from datetime import datetime, timedelta # 1. 加载并预处理CSV规则 rule_df = pd.read_csv("你的规则文件路径.csv") rule_df = rule_df.sort_values("Byte", ascending=True).reset_index(drop=True) # 2. 数据类型映射表,可根据实际支持的类型扩展 type_map = { "uint8": "B", "uint16": "H", "uint32": "I", "int8": "b", "int16": "h", "int32": "i", "float": "f" } # 3. 构建struct格式串和配套映射列表 fmt = ">" # 大端字节序,若实际为小端改为< field_names = [] conversion_factors = [] enum_maps = [] current_offset = 0 for _, row in rule_df.iterrows(): byte_offset = int(row["Byte"]) # 处理中间填充字节 if byte_offset > current_offset: fmt += "x" * (byte_offset - current_offset) current_offset = byte_offset # 添加当前字段格式 fmt += type_map[row["Tlm Type"]] field_names.append(row["Mnemonic"]) conversion_factors.append(row["Tlm Conversion (EU/lsb)"]) # 处理枚举映射 if str(row["Eng. Units (EU)"]).strip() not in ["none", ""]: enum_pairs = str(row["Eng. Units (EU)"]).split() enum_map = {int(p.split("/")[0]): p.split("/")[1] for p in enum_pairs} else: enum_map = None enum_maps.append(enum_map) # 更新当前偏移量 current_offset += struct.calcsize(type_map[row["Tlm Type"]]) # 校验格式串长度是否匹配块大小 assert struct.calcsize(fmt) == 2068, "规则构建的块长度和给定2068字节不匹配,请检查CSV规则" # 4. 加载二进制遥测数据 with open("telemetry.bin", "rb") as f: data = f.read() # 5. 批量解析所有数据块 TAI_EPOCH = datetime(2000, 1, 1, 0, 0, 0) result = [] block_size = 2068 total_blocks = len(data) // block_size for i in range(total_blocks): block = data[i*block_size : (i+1)*block_size] raw_values = struct.unpack(fmt, block) processed = {} for name, raw, factor, enum_map in zip(field_names, raw_values, conversion_factors, enum_maps): eng_value = raw * factor if enum_map is not None: eng_value = enum_map.get(int(raw), eng_value) processed[name] = eng_value # 处理时间字段,tai_time替换为实际时间字段名 processed["utc_time"] = TAI_EPOCH + timedelta(seconds=processed["tai_time"]) result.append(processed) # 6. 导出解析结果 result_df = pd.DataFrame(result) result_df.to_csv("parsed_telemetry.csv", index=False)
注意事项
- 若解析出的数值明显异常,优先调整格式串开头的字节序标识(
>改<) - 若存在位域类型字段,需单独拿到对应整字节后按位掩码截取处理
- TAI时间和UTC时间存在闰秒差,若需要高精度UTC时间,需根据数据采集年份减去对应闰秒差值,普通场景可直接按上述代码转换。
内容的提问来源于stack exchange,提问作者Jan Kwiatkowski
相关产品推荐
相关产品推荐

