如何基于CameraX与Camera2实现广角相机并对接MLKit

问题根因说明 #

• Camera2 方案下实时图像分析集成失败：绝大多数安卓机型的广角/超广角摄像头属于多摄逻辑组下的物理子摄像头，输出能力（支持的分辨率、帧率档位、输出格式）和主摄存在差异，直接套用主摄的ImageReader流配置会触发流创建失败，无法拉起实时分析。
• CameraX 方案下调不到足够广角的能力：CameraX默认摄像头选择逻辑优先返回逻辑主摄，默认过滤等效焦距过短的超广角物理摄像头，且默认用例绑定逻辑会强制所有用例（预览、分析、拍摄）绑定到同一个逻辑摄像头，不会主动切到广角物理流。

具体实现路径 #

方案1：基于Camera2实现（适配自由度最高，可拉满广角硬件能力） #

适合对广角角度、帧率有明确要求，需要覆盖更多小众机型的场景：

• 枚举所有物理摄像头，跳过默认返回的逻辑后置摄像头。遍历CameraManager.getCameraIdList()，对每个cameraId查询CameraCharacteristics参数：先通过LENS_FACING筛选后置摄像头，再结合LENS_INFO_AVAILABLE_FOCAL_LENGTHS和传感器尺寸计算等效35mm焦距，筛选出符合广角角度要求的摄像头id；注意过滤掉不包含REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE标识的物理摄像头，这类摄像头不支持独立开流，只能作为逻辑多摄的辅助头使用。
• 配置实时分析流时完全对齐广角摄像头的能力参数。不要复用主摄的流配置：从STREAM_CONFIGURATION_MAP中查询该广角摄像头支持的YUV_420_888格式输出尺寸，选择和ML Kit输入要求匹配的档位（优先选720p/1080p，兼顾识别精度和帧率）；FPS范围选择广角头原生支持的30fps档位，不要强行套用主摄支持的60fps配置，否则会直接触发流配置错误。
• 帧数据对接ML Kit时，旋转角度取广角摄像头自身的SENSOR_ORIENTATION参数，不要复用逻辑主摄的旋转值，避免识别结果方向错位。
• 注意：部分机型的广角摄像头默认输出存在桶形畸变，ML Kit本身不内置畸变校正，如果做条码识别、人脸检测这类对形变敏感的任务，需要提前读取LENS_DISTORTION参数，在帧数据送入ML Kit前完成畸变校正。

方案2：基于CameraX实现（开发成本低，覆盖主流机型） #

适合希望快速落地、不需要覆盖极小众机型的场景：

• 不要使用默认的CameraSelector.DEFAULT_BACK_CAMERA，自定义摄像头筛选器，通过Camera2CameraFilter遍历底层摄像头参数，筛选出符合要求的广角物理摄像头，核心配置代码如下：

val ultraWideCameraFilter = Camera2CameraFilter { charsList ->
    charsList.filter { chars ->
        val isBackLens = chars.get(CameraCharacteristics.LENS_FACING) == CameraCharacteristics.LENS_FACING_BACK
        val focalLengths = chars.get(CameraCharacteristics.LENS_INFO_AVAILABLE_FOCAL_LENGTHS)
        // 焦距阈值可根据需要的广角角度调整，一般物理焦距<2.5mm为超广角档位
        val isWideAngle = focalLengths?.any { it < 2.5f } == true
        val supportIndependentStream = chars.get(CameraCharacteristics.REQUEST_AVAILABLE_CAPABILITIES)
            ?.contains(CameraCharacteristics.REQUEST_AVAILABLE_CAPABILITIES_BACKWARD_COMPATIBLE) == true
        isBackLens && isWideAngle && supportIndependentStream
    }
}
val ultraWideSelector = CameraSelector.Builder()
    .addCameraFilter(ultraWideCameraFilter)
    .build()

• 单独配置ImageAnalysis分析用例：输出格式设为YUV_420_888，背压策略选STRATEGY_KEEP_ONLY_LATEST保证实时性，分辨率选择广角摄像头支持的档位即可，不要强制要求和Preview预览用例的分辨率、比例完全一致，避免触发摄像头回退到逻辑主摄。
• 绑定生命周期时，Preview、ImageAnalysis等所有用例都统一绑定到上面自定义的广角摄像头选择器上，不要混用默认摄像头选择器，避免被系统强制切回主摄。

ML Kit对接注意事项 #

• 不要为了匹配ML Kit的输入比例裁剪广角输出帧的边缘区域，否则会直接损失广角的视野优势；正确做法是保留原始帧比例送入ML Kit，等识别完成后再将结果坐标映射到预览视图做UI绘制。
• 广角画面边缘的目标会存在透视变形，会小幅降低人脸、条码类检测的识别率，可以根据实际场景将识别置信度阈值调低5%-10%，或者仅对边缘区域做轻度透视校正后再送入识别模型。

内容的提问来源于stack exchange，提问作者Krunal Kapadiya