导航
运动健身
最近更新时间：2025.03.17 10:50:54首次发布时间：2022.02.25 17:16:51
文档反馈
问问助手C接口
函数列表
1. 创建动作识别的句柄
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_create( const char * model_path bef_effect_handle_t * handle );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| model_path | const char * | 模型文件路径 |
| handle | bef_effect_handle_t * | Created action_recognition handle 创建的动作识别句柄 |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
2. 销毁动作识别句柄
函数定义
BEF_SDK_API void bef_effect_ai_action_recognition_destroy( bef_effect_handle_t handle );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Destroy the created action_recognition handle 销毁创建的动作识别句柄 |
返回值: BEF_SDK_API void
3. 设置动作识别模板
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_set_template( bef_effect_handle_t handle const char * template_path );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的动作识别句柄 |
| template_path | const char * | 模板文件路径 |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
4. 动作识别开始姿态检测
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_start_pose_detect( bef_effect_handle_t handle const unsigned char * image bef_ai_pixel_format pixel_format int image_width int image_height int image_stride bef_ai_rotate_type orientation bef_ai_action_recognition_start_pose_type type bef_ai_action_recognition_start_pose_result * result );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的骨骼句柄 |
| image | const unsigned char * | Image base address 输入图片的数据指针 |
| pixel_format | bef_ai_pixel_format | Pixel format of input image 输入图片的格式 |
| image_width | int | Image width 输入图像的宽度 (以像素为单位) |
| image_height | int | Image height 输入图像的高度 (以像素为单位) |
| image_stride | int | Image stride in each row 输入图像每一行的步长 (以像素为单位) |
| orientation | bef_ai_rotate_type | Image orientation 输入图像的转向，具体请参考 bef_effect_ai_public_define.h 中的 bef_rotate_type |
| type | bef_ai_action_recognition_start_pose_type | pose type 姿势类型 |
| result | bef_ai_action_recognition_start_pose_result * | result |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
5. 动作识别计数
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_count( bef_effect_handle_t handle const unsigned char * image bef_ai_pixel_format pixel_format int image_width int image_height int image_stride bef_ai_rotate_type orientation int confirm_time bef_ai_action_recognition_result * action_recognition_result );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的骨骼句柄 |
| image | const unsigned char * | Image base address 输入图片的数据指针 |
| pixel_format | bef_ai_pixel_format | Pixel format of input image 输入图片的格式 |
| image_width | int | Image width 输入图像的宽度 (以像素为单位) |
| image_height | int | Image height 输入图像的高度 (以像素为单位) |
| image_stride | int | Image stride in each row 输入图像每一行的步长 (以像素为单位) |
| orientation | bef_ai_rotate_type | Image orientation 输入图像的转向，具体请参考 bef_effect_ai_public_define.h 中的 bef_rotate_type |
| confirm_time | int | count confirmation time 计数确认时长 |
| action_recognition_result | bef_ai_action_recognition_result * | 不可为nullptr |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
6. Android 人体关键点授权
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_check_license( JNIEnv * env jobject context bef_effect_handle_t handle const char * licensePath );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| env | JNIEnv * | JNIEnv 环境 |
| context | jobject | Android Context 对象 |
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的动作识别句柄 |
| licensePath | const char * | licensePath |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 授权码非法返回 BEF_RESULT_INVALID_LICENSE ，其它失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
7. iOS 人体关键点授权
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_check_license( bef_effect_handle_t handle const char * licensePath );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的动作识别句柄 |
| licensePath | const char * | licensePath |
返回值: BEF_SDK_API bef_effect_result_t
成功返回 BEF_RESULT_SUC, 授权码非法返回 BEF_RESULT_INVALID_LICENSE ，其它失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
8. 阈值调节
接口可以调整阈值，以达到识别难度降低的效果。
函数定义
BEF_SDK_API bef_effect_result_t bef_effect_ai_action_recognition_set_template_threshold(bef_effect_handle_t handle, float threshold);
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| handle | bef_effect_handle_t | Created action_recognition handle 已创建的动作识别句柄 |
| threshold | float | 模板阈值 |
返回值
成功返回 BEF_RESULT_SUC, 授权码非法返回 BEF_RESULT_INVALID_LICENSE ，其它失败返回相应错误码, 具体请参考 bef_effect_ai_public_define.h
备注
阈值范围见此文档附录
结构体
1. bef_ai_action_recognition_result
动作计数结果信息
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| keypoints | bef_ai_tt_key_point[BEF_AI_ACTION_RECOGNITION_MAX_POINT_NUM] | 检测到的骨骼信息 |
| feed_body_part | bef_ai_action_recognition_feedback_body_part | 反馈的身体部位类别 |
| feedback_keypoints | bef_ai_tt_key_point[BEF_AI_ACTION_RECOGNITION_MAX_POINT_NUM *2] | 检测到的反馈骨骼信息 |
| feedback_kp_count | int | 检测到的反馈骨骼信息数量，feedback_keypoints的实际长度 |
| recognize_succeed | bool | 是否计数成功，为true时，表示计数成功，界面可以增加计数 |
| is_feedback_valid | bool | 反馈信息是否有效，为true时，表示信息有效，界面可以显示反馈信息 |
2. bef_ai_action_recognition_start_pose_result
初始姿态检测结果信息
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| is_detected | bool | 是否通过初始姿态检测，为true时，表示通过检测，可以开始计数 |
枚举类型
1. bef_ai_action_recognition_feedback_body_part
反馈的身体部位类别
| 参数名 | 参数说明 |
|---|---|
| BEF_AI_ACTION_RECOGNITION_FeedbackNone | |
| BEF_AI_ACTION_RECOGNITION_FeedbackLeftArm | 左臂 |
| BEF_AI_ACTION_RECOGNITION_FeedbackRightArm | 右臂 |
| BEF_AI_ACTION_RECOGNITION_FeedbackLeftLeg | 左腿 |
| BEF_AI_ACTION_RECOGNITION_FeedbackRightLeg | 右腿 |
2. bef_ai_action_recognition_start_pose_type
初始姿态类别
| 参数名 | 参数说明 |
|---|---|
| BEF_AI_ACTION_RECOGNITION_Stand | 站立 |
| BEF_AI_ACTION_RECOGNITION_Lying | 平躺 |
| BEF_AI_ACTION_RECOGNITION_Sitting | 坐姿 |
宏定义
| 参数名 | 参数值 | 参数说明 |
|---|---|---|
| BEF_AI_ACTION_RECOGNITION_MAX_POINT_NUM | 18 | 最大骨骼点数量 |
Java接口
com.bytedance.labcv.effectsdk.ActionRecognition
动作计数 API 类
1. 初始化算法
函数定义
int init( Context context String modelPath String licensePath );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| context | Context | Android Context 对象 |
| modelPath | String | 模型文件路径 |
| licensePath | String | 授权文件路径 |
返回值: int
2. 设置动作识别模版
函数定义
int setTemplate( String templatePath );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| templatePath | String | 模版文件路径 |
返回值: int
3. 动作识别开始姿态检测
函数定义
BefActionRecognitionInfo.PoseDetectResult detectPose( ByteBuffer buffer BytedEffectConstants.PixlFormat pixelFormat int width int height int stride BefActionRecognitionInfo.ActionRecognitionPoseType poseType BytedEffectConstants.Rotation orientation );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| buffer | ByteBuffer | 图片数据 |
| pixelFormat | BytedEffectConstants.PixlFormat | 图片格式 |
| width | int | 宽 |
| height | int | 高 |
| stride | int | 步长 |
| poseType | BefActionRecognitionInfo.ActionRecognitionPoseType | 姿态类型 |
| orientation | BytedEffectConstants.Rotation | 图像旋转方向，具体见 Rotation |
返回值: BefActionRecognitionInfo.PoseDetectResult
姿态检测结果，具体见 PoseDetectResult
4. 动作识别计数
函数定义
BefActionRecognitionInfo detect( ByteBuffer buffer BytedEffectConstants.PixlFormat pixelFormat int width int height int stride BytedEffectConstants.Rotation orientation int confirmTime );
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| buffer | ByteBuffer | 图片数据 |
| pixelFormat | BytedEffectConstants.PixlFormat | 图片格式 |
| width | int | 宽 |
| height | int | 高 |
| stride | int | 步长 |
| orientation | BytedEffectConstants.Rotation | 图像旋转方向，具体见 Rotation |
| confirmTime | int | 计数确认时长 |
返回值: BefActionRecognitionInfo
动作计数结果，具体见 BefActionRecognitionInfo
5. 阈值调整
函数定义
int setThreshold(float threshold)
参数说明
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| threshold | float | 模板阈值 |
返回值
返回算法阈值
备注
阈值调节范围见此文档附录
6. 销毁算法
函数定义
void destroy( );
返回值: void
com.bytedance.labcv.effectsdk.BefActionRecognitionInfo
动作计数检测结果
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| keyPoints | BefPublicDefine.BefKeyPoint[] | 检测到的骨骼信息 |
| feedbackPart | int | 反馈的身体部位类别 |
| feedbackKeyPoints | BefPublicDefine.BefKeyPoint[] | 检测到的反馈骨骼信息 |
| recognizeSucceed | boolean | 是否计数成功，为true时，表示计数成功，界面可以增加计数 |
| isFeedbackValid | boolean | 反馈信息是否有效，为true时，表示信息有效，界面可以显示反馈信息 |
com.bytedance.labcv.effectsdk.BefActionRecognitionInfo.PoseDetectResult
初始姿态检测结果信息
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| isDetected | boolean | 是否通过初始姿态检测，为true时，表示通过检测，可以开始计数 |
com.bytedance.labcv.effectsdk.BefActionRecognitionInfo
动作计数检测结果
| 参数名 | 参数类型 | 参数说明 |
|---|---|---|
| keyPoints | BefPublicDefine.BefKeyPoint[] | 检测到的骨骼信息 |
| feedbackPart | int | 反馈的身体部位类别 |
| feedbackKeyPoints | BefPublicDefine.BefKeyPoint[] | 检测到的反馈骨骼信息 |
| recognizeSucceed | boolean | 是否计数成功，为true时，表示计数成功，界面可以增加计数 |
| isFeedbackValid | boolean | 反馈信息是否有效，为true时，表示信息有效，界面可以显示反馈信息 |
附录：阈值调节范围
阈值调整范围：
安卓：
| 动作 | 最小阈值 | 最大阈值 |
|---|---|---|
| 开合跳 | 0.3 | 0.5 |
| 深蹲 | 0.3 | 0.48 |
| 平板支撑 | 0.3 | 0.55 |
| 俯卧撑 | 0.3 | 0.52 |
| 仰卧起坐 | 0.3 | 0.46 |
| 高抬腿跑 | 0.3 | 0.5 |
| 箭步蹲 | 0.3 | 0.5 |
| 臀桥 | 0.3 | 0.49 |
| 弓箭步跳 | 0.3 | 0.53 |
| 跪姿俯卧撑 | 0.3 | 0.52 |
iOS：
| 动作 | 最小阈值 | 最大阈值 |
|---|---|---|
| 开合跳 | 0.3 | 0.5 |
| 深蹲 | 0.3 | 0.48 |
| 平板支撑 | 0.3 | 0.55 |
| 俯卧撑 | 0.3 | 0.52 |
| 仰卧起坐 | 0.3 | 0.46 |
| 高抬腿跑 | 0.3 | 0.5 |
| 箭步蹲 | 0.3 | 0.5 |
| 臀桥 | 0.3 | 0.5 |
| 弓箭步跳 | 0.3 | 0.52 |
| 跪姿俯卧撑 | 0.3 | 0.53 |