You need to enable JavaScript to run this app. 基于CSV字段规则解析遥测二进制文件的实现方案咨询
优惠活动
大模型
产品
解决方案
定价
更多

基于CSV字段规则解析遥测二进制文件的实现方案咨询

遥测二进制文件解析方案

疑问解答

1. CSV中哪些列需要用于构建struct对象?

  • 核心必填列:
    • Byte:对应字段在单数据块内的字节偏移量,用于定位字段起始存储位置
    • Tlm Type:对应字段的二进制存储类型,用来匹配struct格式字符(例如uint8对应B、uint16对应H)
  • 扩展可选列(用于后续数值转义,不需要参与struct结构构建):
    • Mnemonic:作为解析后字段的命名,方便后续数据访问
    • Tlm Conversion (EU/lsb):原始值转工程值的换算系数
    • Eng. Units (EU):枚举值映射规则、物理单位定义
  • Hex Addr列和Byte列对应,仅用于规则校验,不需要参与struct构建。

2. 首个数据块是否对应data[:2068]?

是的。你读取的是完整二进制文件的字节流,数据块固定大小为2068字节,因此第一个数据块为data[0:2068],第二个为data[2068:4136],以此类推。你当前的文件总长度为7510976字节,除以2068刚好等于3632,说明文件完整无截断。

完整实现思路

  1. 预处理CSV规则表
    • 读入CSV后按Byte列升序排序,保证字段顺序和二进制存储顺序一致
    • 建立Tlm Type到struct格式字符的映射表,航天遥测通常为大端字节序,格式串开头统一加>
    • 若存在偏移量不连续的情况,中间空白位置用x(struct填充字符,自动跳过对应字节)占位
  2. 动态构建struct解析模板
    • 把所有字段对应格式字符、填充字符拼接为完整的struct格式串
    • 同步维护字段名、换算系数、枚举映射列表,和解析出的原始值一一对应
  3. 遍历解析全量数据块
    • 按步长2068切割完整字节流
    • 每个块用struct.unpack解析得到原始值列表,乘以对应换算系数得到工程值,有枚举规则的映射为可读字符串
    • 时间字段单独处理:把TAI秒数叠加2000-01-01 00:00:00的时间基准,转换为可读时间格式
  4. 结果存储
    • 解析结果可直接转换为Pandas DataFrame,方便后续分析、导出

示例代码

import struct
import pandas as pd
from datetime import datetime, timedelta

# 1. 加载并预处理CSV规则
rule_df = pd.read_csv("你的规则文件路径.csv")
rule_df = rule_df.sort_values("Byte", ascending=True).reset_index(drop=True)

# 2. 数据类型映射表,可根据实际支持的类型扩展
type_map = {
    "uint8": "B",
    "uint16": "H",
    "uint32": "I",
    "int8": "b",
    "int16": "h",
    "int32": "i",
    "float": "f"
}

# 3. 构建struct格式串和配套映射列表
fmt = ">"  # 大端字节序,若实际为小端改为<
field_names = []
conversion_factors = []
enum_maps = []

current_offset = 0
for _, row in rule_df.iterrows():
    byte_offset = int(row["Byte"])
    # 处理中间填充字节
    if byte_offset > current_offset:
        fmt += "x" * (byte_offset - current_offset)
        current_offset = byte_offset
    # 添加当前字段格式
    fmt += type_map[row["Tlm Type"]]
    field_names.append(row["Mnemonic"])
    conversion_factors.append(row["Tlm Conversion (EU/lsb)"])
    # 处理枚举映射
    if str(row["Eng. Units (EU)"]).strip() not in ["none", ""]:
        enum_pairs = str(row["Eng. Units (EU)"]).split()
        enum_map = {int(p.split("/")[0]): p.split("/")[1] for p in enum_pairs}
    else:
        enum_map = None
    enum_maps.append(enum_map)
    # 更新当前偏移量
    current_offset += struct.calcsize(type_map[row["Tlm Type"]])

# 校验格式串长度是否匹配块大小
assert struct.calcsize(fmt) == 2068, "规则构建的块长度和给定2068字节不匹配,请检查CSV规则"

# 4. 加载二进制遥测数据
with open("telemetry.bin", "rb") as f:
    data = f.read()

# 5. 批量解析所有数据块
TAI_EPOCH = datetime(2000, 1, 1, 0, 0, 0)
result = []
block_size = 2068
total_blocks = len(data) // block_size

for i in range(total_blocks):
    block = data[i*block_size : (i+1)*block_size]
    raw_values = struct.unpack(fmt, block)
    processed = {}
    for name, raw, factor, enum_map in zip(field_names, raw_values, conversion_factors, enum_maps):
        eng_value = raw * factor
        if enum_map is not None:
            eng_value = enum_map.get(int(raw), eng_value)
        processed[name] = eng_value
    # 处理时间字段,tai_time替换为实际时间字段名
    processed["utc_time"] = TAI_EPOCH + timedelta(seconds=processed["tai_time"])
    result.append(processed)

# 6. 导出解析结果
result_df = pd.DataFrame(result)
result_df.to_csv("parsed_telemetry.csv", index=False)

注意事项

  • 若解析出的数值明显异常,优先调整格式串开头的字节序标识(>改<)
  • 若存在位域类型字段,需单独拿到对应整字节后按位掩码截取处理
  • TAI时间和UTC时间存在闰秒差,若需要高精度UTC时间,需根据数据采集年份减去对应闰秒差值,普通场景可直接按上述代码转换。

内容的提问来源于stack exchange,提问作者Jan Kwiatkowski

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 05:03:03