如何解码Google Cloud BigTable通过cbt或Python API返回的二进制数据

BigTable本身只存储无类型的原始字节序列，返回乱码的核心原因是读取时的解码逻辑和写入时的编码/序列化逻辑不匹配，直接强制UTF-8解码自然会失败。

cbt CLI工具解码方法 #

• 如果你写入时用的是普通字符串编码（如UTF-8、GBK等），执行命令时加上-format=json参数，会自动尝试识别可打印字符串输出，命令示例：cbt read <table-name> count=1 -format=json
• 如果写入时用了序列化框架（比如Protobuf、Avro、Thrift，或是数字、二进制文件序列化），需要先把cbt的输出转储为本地二进制文件，再用对应序列化框架的解码工具处理：
  先执行cbt read <table-name> count=1 -cells=raw > output.bin把原始字节存为文件，再用对应框架的CLI工具解码output.bin即可。

Python API 解码方法 #

Python API的scan接口返回的每一行是PartialRowData对象，不能直接对row对象解码，需要先取出指定单元格的value字节序列再做处理，示例代码如下：

from google.cloud import bigtable

# 初始化BigTable客户端
client = bigtable.Client(project=<your-project-id>, admin=True)
instance = client.instance(<your-instance-id>)
table = instance.table(<your-table-name>)

rows = table.scan(limit=1)
for row in rows:
    # 取出对应列簇和列限定符的value，示例列簇为cf1，列名为col1
    cell_value = row.cells[b'cf1'][b'col1'][0].value
    # 接下来根据写入时的序列化方式选择对应解码逻辑
    # 1. 普通UTF-8编码字符串的解码逻辑
    try:
        decoded_val = cell_value.decode('utf-8')
        print(decoded_val)
    except UnicodeDecodeError:
        pass
    # 2. Protobuf序列化对象的解码逻辑，假设对应生成类为BuildingProto
    # building_obj = BuildingProto()
    # building_obj.ParseFromString(cell_value)
    # print(building_obj)
    # 3. 大端存储整数的解码逻辑
    # decoded_val = int.from_bytes(cell_value, byteorder='big')
    # 其余自定义序列化格式直接使用对应的反序列化方法处理cell_value即可

• 解码前必须确认数据写入时的编码/序列化规则，和读取时的解码规则严格一一对应，否则无法正常解析数据。

内容的提问来源于stack exchange，提问作者Muhammad Hamza