骨骼检测

骨骼检测可实时识别全身18关键点，支持多人检测，支持半身、侧身、背身、部分遮挡等多种复杂场景。

骨骼检测关键点索引图

详细接口说明查看头文件：bef_effect_ai_hand.h

1. 创建骨骼检测句柄

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_create(
	const char *model_path,
	bef_effect_handle_t *handle
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

2. 骨骼检测授权

1. android

BEF_SDK_API bef_effect_result_t 
bef_effect_ai_skeleton_check_license(
	JNIEnv* env, 
	jobject context,
	bef_effect_handle_t handle, 
	const char *licensePath
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

2. ios

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_check_license(
	bef_effect_handle_t handle, 
	const char *licensePath
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

3. 设置检测算法的输入尺寸

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_set_detection_inputsize(
	bef_effect_handle_t handle,
	int width,
	int height
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

4. 设置跟踪算法的输入尺寸

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_set_tracking_inputsize(
	bef_effect_handle_t handle,
	int width,
	int height
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

5. 设置最多可检测骨骼数

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_set_targetnum(
	bef_effect_handle_t handle,
	int max_skeleton_num
	);

参数说明

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

6. 检测骨骼

BEF_SDK_API bef_effect_result_t
bef_effect_ai_skeleton_detect(
	bef_effect_handle_t handle,
	const unsigned char *image,
	bef_ai_pixel_format pixel_format,
	int image_width,
	int image_height,
	int image_stride,
	bef_ai_rotate_type orientation,
	int *skeleton_info_num,
	bef_skeleton_info **skeleton_info
	);

参数说明

备注

1. pixel_format

   使用时参考 bef_ai_pixel_format

typedef enum {
    BEF_AI_PIX_FMT_RGBA8888, // RGBA 8:8:8:8 32bpp ( 4通道32bit RGBA 像素 )
    BEF_AI_PIX_FMT_BGRA8888, // BGRA 8:8:8:8 32bpp ( 4通道32bit RGBA 像素 )
    BEF_AI_PIX_FMT_BGR888,   // BGR 8:8:8 24bpp ( 3通道32bit RGB 像素 )
    BEF_AI_PIX_FMT_RGB888,   // RGB 8:8:8 24bpp ( 3通道32bit RGB 像素 )
    BEF_AI_PIX_FMT_GRAY8,    // GRAY 8bpp ( 1通道8bit 灰度像素 ). 目前还不支持
    BEF_AI_PIX_FMT_YUV420P,  // YUV  4:2:0   12bpp ( 3通道, 一个亮度通道, 另两个为U分量和V分量通道, 所有通道都是连续的 ). 目前还不支持
    BEF_AI_PIX_FMT_NV12,     // YUV  4:2:0   12bpp ( 3通道, 一个亮度通道, 另一道为UV分量交错 ). 目前还不支持
    BEF_AI_PIX_FMT_NV21      // YUV  4:2:0   12bpp ( 3通道, 一个亮度通道, 另一道为VU分量交错 ). 目前还不支持
} bef_ai_pixel_format;

2. skeleton_info

   检测到的骨骼信息，需要外部申请内存，数量由 skeleton_info_num 确定，使用时参考 bef_skeleton_info

typedef struct bef_skeleton_info {
    bef_skeleton_point_info      keyPointInfos[BEF_MAX_SKELETON_POINT_NUM];     // 检测到的骨骼信息
    bef_ai_rect  skeletonRect; // 骨骼rect
} bef_skeleton_info;

返回值

成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

7. 销毁骨骼检测句柄

BEF_SDK_API void
bef_effect_ai_skeleton_destroy(bef_effect_handle_t handle);

参数说明

1. 创建骨骼检测句柄

public int init(
	Context context,
	String modelPath,
	String licensePath
	);

参数说明

返回值

成功返回BEF_RESULT_SUC，否则返回对应的错误码

2. 设置检测算法的输入

public int setDetectionInput(
  int width,
	int height
	);

参数说明

返回值

成功返回BEF_RESULT_SUC，否则返回对应的错误码

3. 设置跟踪算法的输入

public int setTrackingInput(
	int width,
	int height
	);

参数说明

返回值

成功返回BEF_RESULT_SUC，否则返回对应的错误码

4. 设置最多可检测骨骼数

public int setTargetNum(int num);

参数说明

返回值

成功返回BEF_RESULT_SUC，否则返回对应的错误码

5. 检测骨骼

public BefSkeletonInfo detectSkeleton(
	ByteBuffer buffer,
	BytedEffectConstants.PixlFormat pixel_format,
	int image_width,
	int image_height,
	int image_stride,
	BytedEffectConstants.Rotation orientation
	);

参数说明

备注

1. pixel_format

   使用时参考 com.bytedance.labcv.effectsdk.BytedEffectConstants.PixlFormat

public enum PixlFormat {
    RGBA8888(0),
    BGRA8888(1),
    BGR888(2),
    RGB888(3),
    BEF_AI_PIX_FMT_YUV420P(5),
    BEF_AI_PIX_FMT_NV12(6),
    BEF_AI_PIX_FMT_NV21(7);
    private int value;
    PixlFormat(int value) {
        this.value = value;
    }
    public int getValue() {
        return value;
    }
}

2. orientation

   使用时参考 com.bytedance.labcv.effectsdk.BytedEffectConstants.Rotation

public enum Rotation {
    /**
     * 图像不需要旋转，图像中的人脸为正脸
     */
    CLOCKWISE_ROTATE_0(0),
    /**
     * 图像需要顺时针旋转90度，使图像中的人脸为正
     */
    CLOCKWISE_ROTATE_90(1),
    /**
     * 图像需要顺时针旋转180度，使图像中的人脸为正
     */
    CLOCKWISE_ROTATE_180(2),
    /**
     * 图像需要顺时针旋转270度，使图像中的人脸为正
     */
    CLOCKWISE_ROTATE_270(3);
    public int id = 0;
    Rotation(int id) {
        this.id = id;
    }
}

返回值

成功返回BEF_RESULT_SUC，否则返回对应的错误码

6. 销毁骨骼检测句柄

public void release();

FAQ

1.如果出现任何异常，请查看是否有以下类型日志

答：建议首先查看以下tag输出Error类型的日志：

bef_effect_ai 和SMASH_E_LOG 以及 EffectSDK

2.骨骼检测设置后没有效果

答：建议按照以下步骤排查

• 请确认骨骼检测句柄初始化是否成功
• 请确认骨骼检测句柄已经授权成功
• 如果初始化成功，请检查设置的输入图像数据完整且类型支持

错误码

错误码请参考错误码表