Mediapipe图片路径与Numpy数组输入结果不一致的解决方法

核心问题分析 #

直接通过路径输入图像时，MediaPipe会自动处理图像编码、色彩空间、数据格式等环节；而手动将Base64编码转成Numpy数组时，很容易在解码完整性、色彩通道顺序、数据类型匹配这几个关键步骤出错，导致模型无法正确识别人体姿态关键点。

分步排查与修复方案 #

1. 修正Base64解码流程 #

确保解码过程没有损坏图像数据，同时处理可能存在的Base64前缀：

import base64
import numpy as np
import cv2

# 移除Base64字符串中的前缀（如"data:image/jpeg;base64,"）
if ',' in base64_str:
    base64_str = base64_str.split(',')[1]
# 解码为二进制数据并转成Numpy数组
img_data = base64.b64decode(base64_str)
np_arr = np.frombuffer(img_data, np.uint8)
# 解码为OpenCV格式图像
img_bgr = cv2.imdecode(np_arr, cv2.IMREAD_COLOR)

2. 对齐色彩通道顺序 #

MediaPipe PoseLandmarker默认要求输入RGB格式图像，但OpenCV解码得到的是BGR格式，必须做通道转换：

# 转换为RGB格式，匹配MediaPipe输入要求
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)

如果使用PIL库处理，解码后直接转为RGB即可：

from PIL import Image
import io

img_pil = Image.open(io.BytesIO(img_data)).convert('RGB')
img_rgb = np.array(img_pil)

3. 确保数据类型与尺寸合规 #

• 强制图像数据为uint8类型（0-255的整数），避免出现浮点型或超出范围的数值
• 检查图像尺寸：MARS数据集原图像存在分辨率问题，转码后不要过度压缩，确保图像尺寸不低于PoseLandmarker的最小要求（建议≥256×256）

4. 统一预处理逻辑 #

手动转码时要对齐MediaPipe路径输入的自动预处理规则：

• 不要额外裁剪、缩放图像（除非路径输入时也做了相同操作）
• 避免修改图像的对比度、亮度等参数，保持和原始路径读取的图像一致

5. 验证输入一致性 #

对比两种输入方式得到的Numpy数组，确认图像数据完全一致：

# 路径读取的图像（作为基准）
img_path_bgr = cv2.imread('mars_sample.jpg')
img_path_rgb = cv2.cvtColor(img_path_bgr, cv2.COLOR_BGR2RGB)
# Base64转码得到的图像
# ... 执行前面的解码、转RGB步骤 ...
# 对比数组是否完全匹配
print(np.array_equal(img_path_rgb, img_rgb))

如果输出为False，说明解码或色彩转换环节存在问题，需逐步排查修正。

6. 规范MediaPipe输入格式 #

使用MediaPipe官方推荐的Image对象作为输入，避免格式兼容问题：

import mediapipe as mp

mp_image = mp.Image.create_from_array(img_rgb)
# 传入PoseLandmarker检测
results = pose_landmarker.detect(mp_image)

内容的提问来源于stack exchange，提问作者BarzanHayati