如何为PKCanvasView添加形状识别？SDK不支持时的替代方案探讨

PencilKit的PKCanvasView确实没有原生内置形状识别功能，以下是几种可行的替代实现方案：

一、基于Core ML自定义训练形状识别模型 #

1. 准备数据集：收集不同风格的手绘形状样本（直线、圆、矩形等），标注对应类别。
2. 训练模型：用Create ML或TensorFlow训练一个图像分类/路径分类模型，输出为Core ML格式。
3. 集成到PKCanvasView：
   • 在PKCanvasViewDelegate的canvasViewDrawingDidChange(_:)方法中，获取当前绘制的PKStroke。
   • 将笔画路径转换为标准化的图像或路径特征数据，输入Core ML模型进行识别。
   • 若识别到匹配形状，用对应的标准矢量路径（如UIBezierPath创建的圆、矩形）替换原手绘笔画，保持原笔触的颜色、粗细属性。

示例代码片段：

func canvasViewDrawingDidChange(_ canvasView: PKCanvasView) {
    guard let lastStroke = canvasView.drawing.strokes.last else { return }
    // 预处理笔画路径，转换为模型输入格式
    let strokePath = lastStroke.path
    let inputImage = convertStrokeToImage(strokePath)
    // 调用Core ML模型识别
    guard let model = try? ShapeRecognitionModel(configuration: .init()) else { return }
    let prediction = try? model.prediction(image: inputImage)
    if let shapeType = prediction?.label, shapeType == "circle" {
        // 创建标准圆形路径
        let center = strokePath.bounds.center
        let radius = min(strokePath.bounds.width, strokePath.bounds.height)/2
        let bezierPath = UIBezierPath(arcCenter: center, radius: radius, startAngle: 0, endAngle: .pi*2, clockwise: true)
        // 创建新的PKStroke替换原笔画
        let newStroke = PKStroke(
            path: bezierPath,
            ink: lastStroke.ink,
            transform: .identity
        )
        var newStrokes = canvasView.drawing.strokes
        newStrokes.removeLast()
        newStrokes.append(newStroke)
        canvasView.drawing = PKDrawing(strokes: newStrokes)
    }
}

二、结合Vision框架实现轮廓匹配 #

利用Vision的轮廓检测功能，分析手绘形状的几何特征，与标准形状匹配：

1. 将PKCanvasView的内容转换为UIImage。
2. 创建VNContourDetectionRequest，检测图像中的轮廓。
3. 提取轮廓的关键特征：顶点数量、周长与面积的比值、角度分布等。
4. 将特征与预设的标准形状特征（如矩形的4个直角、圆的近似圆形轮廓）对比，判断形状类型。
5. 生成对应标准路径替换手绘笔画。

三、手动实现简单形状匹配（适合基础场景） #

针对直线、圆、矩形等基础形状，直接分析PKStroke的路径点：

• 直线判断：计算路径所有点到拟合直线的距离方差，方差小于阈值则判定为直线，用两点连线替换原路径。
• 圆形判断：计算路径点的中心点，统计所有点到中心点的距离偏差，偏差小则判定为圆，生成标准圆形路径。
• 矩形判断：将路径近似为多边形，若顶点数为4且内角接近90度，则判定为矩形，生成标准矩形路径。

效果演示 #

内容的提问来源于stack exchange，提问作者Peter Lapisu