人体分割

人体分割SDK提供从图像中实时提取人体轮廓的能力，支持多人同时分割，具备稳定性高、性能开销低、速度快等特点。

详细接口说明查看头文件：bef_effect_ai_portrait_matting.h

1.创建人体分割句柄

BEF_SDK_API bef_effect_result_t  
bef_effect_ai_portrait_matting_create(bef_effect_handle_t *handle);

参数说明

​
返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

2.从文件初始化模型参数

BEF_SDK_API bef_effect_result_t  
bef_effect_ai_portrait_matting_init_model(
    bef_effect_handle_t handle,
    bef_ai_matting_model_type type,
    const char* param_path);

参数说明

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

3.设置SDK参数

BEF_SDK_API bef_effect_result_t
bef_effect_ai_portrait_matting_set_param(
    bef_effect_handle_t handle,
    bef_ai_matting_param_type type,
    int value);

参数说明

备注
bef_ai_matting_param_type 详细见bef_effect_ai_portrait_matting.h

/*
 * @brief SDK参数
 * edge_mode:
 *    算法参数，用来设置边界的模式
 *    - 0: 不加边界
 *    - 1: 加边界
 *    - 2: 加边界, 其中, 2 和 3 策略不太一样，但效果上差别不大，可随意取一个
 * fresh_every:
 *    算法参数，设置调用多少次强制做预测，目前设置 15 即可
 * MP_OutputMinSideLen:
 *    返回短边的长度, 默认值为128, 需要为16的倍数；
 * MP_OutputWidth 不设置，只做GetParam 兼容之前的调用
 * MP_OutputHeight 不设置，只做GetParam 兼容之前的接口；
 **/
enum bef_ai_matting_param_type {
    BEF_MP_EdgeMode = 0,
    BEF_MP_FrashEvery = 1,
    BEF_MP_OutputMinSideLen = 2,
    BEF_MP_OutputWidth = 3,
    BEF_MP_OutputHeight = 4,
};

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

4.获取输出mask的尺寸

BEF_SDK_API bef_effect_result_t
bef_effect_ai_portrait_matting_get_output_shape(
    bef_effect_handle_t handle,
    int width,
    int height,
    int *output_width,
    int *output_height);

参数说明

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

5.进行抠图操作

BEF_SDK_API bef_effect_result_t
bef_effect_ai_portrait_matting_do_detect(
    bef_effect_handle_t handle,
    const unsigned char* src_image_data,
    bef_ai_pixel_format pixel_format,
    int width,
    int height,
    int image_stride,
    bef_ai_rotate_type orient,
    bool need_flip_alpha,
    bef_ai_matting_ret *ret);

参数说明

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

6.释放句柄

BEF_SDK_API bef_effect_result_t
bef_effect_ai_portrait_matting_destroy(bef_effect_handle_t handle);

参数说明

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

6.人体分割授权

BEF_SDK_API bef_effect_result_t 
bef_effect_ai_portrait_matting_check_license(
    JNIEnv* env, 
    jobject context, 
    bef_effect_handle_t handle, 
    const char *licensePath);

参数说明

返回值
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h

接口说明
详细接口说明查看文件：com.bytedance.labcv.effectsdk.PortraitMatting.java

1.初始化人体分割句柄

public int init(
      Context context, 
      String modelpath, 
      BytedEffectConstants.PortraitMatting modelType, 
      String licensePath)

参数说明

备注
{@link BytedEffectConstants}
BEF_PORTAITMATTING_LARGE_MODEL(0), 大模型，耗时比小模型稍长；
BEF_PORTAITMATTING_SMALL_MODEL(1); 小模型,较快；

返回值
成功返回BEF_RESULT_SUC，否则返回对应的错误码

2.设置SDK参数

public int setParam(
      BytedEffectConstants.PorraitMattingParamType paramType , 
      int paramValue)

参数说明

备注
详见BytedEffectConstants.PorraitMattingParamType

public enum PorraitMattingParamType
    {
        /**
         *  算法参数，用来设置边界的模式
         *       - 0: 不加边界
         *       - 1: 加边界
         *       - 2: 加边界, 其中, 2 和 3 策略不太一样，但效果上差别不大，可随意取一个
         */
        BEF_MP_EdgeMode(0),
        /**
         * 算法参数，设置调用多少次强制做预测，目前设置 15 即可
         */
        BEF_MP_FrashEvery(1),
        /**
         * 返回短边的长度, 默认值为128, 需要为16的倍数；
         */
        BEF_MP_OutputMinSideLen(2);

        private int value;

        PorraitMattingParamType(int v){this.value = v;}

        public int getValue(){return value;}
    }

返回值
成功返回BEF_RESULT_SUC，否则返回对应的错误码

3.人体分割

public MattingMask detectMatting(
      ByteBuffer imgdata,
      BytedEffectConstants.PixlFormat pixel_format,
      int width, 
      int height, 
      int stride,
      BytedEffectConstants.Rotation orientation,
      boolean needflipalpha)

参数说明

​
备注
类HairMask详细情况可以参考com.bytedance.labcv.effectsdk.PortraitMatting.java

/**
   * 人体分割结果， 单通道灰度图
   */
  public class MattingMask
  {
    private int width;
    private int height;
    private byte[] buffer;

    public byte[] getBuffer() {
      return buffer;
    }

    public int getWidth() {
      return width;
    }

    public int getHeight()
    {
      return height;
    }

    @Override
    public String toString() {
      return String.format("l: %d w:%d, h:%d", buffer.length, width, height);
    }
  }

返回值
成功返回 MattingMask-人体分割结果，单通道灰度图

4.释放人体分割句柄

public void release()

FAQ

1.如果出现任何异常，请查看是否有以下类型日志

答：建议首先查看以下tag输出Error类型的日志：

bef_effect_ai 和SMASH_E_LOG 以及 EffectSDK

2.人体分割设置后完全没有效果

答：建议按以下步骤排查下

• 请确认人体分割句柄初始化是否成功
• 请确认人体分割句柄已经授权成功
• 如果初始化成功，请检查设置的输入图像数据完整且类型支持

3.人体分割SDK输出的mask的数据定义？

答：我们SDK 输出的byte[]中的值在0-255范围中，255表示人体部分，0表示背景部分，（0，255）中间的值表示的是人体的边缘部分。

错误码

错误码请参考错误码表