VisionKit能否集成照片库支持？Vision框架及SwiftUI替代方案咨询

一、VisionKit的局限性 #

VisionKit的VNDocumentCameraViewController仅支持相机实时扫描场景，没有内置照片库源选择入口，也不提供直接传入本地图片的API，无法直接用它处理照片库中的图片。

二、Vision框架的可行方案 #

Vision框架是苹果提供的底层图像分析框架，完全支持处理静态图片，能完美解决从照片库选图后扫描识别的需求，具体实现步骤如下：

1. 获取照片库图片：使用SwiftUI原生的PhotosPicker（或UIKit的PHPickerViewController）选择照片库中的图片。
2. 图片格式转换：将选中的图片转为Vision支持的CGImage或CIImage格式。
3. 创建识别请求：根据需求创建对应的Vision请求，比如文字识别用VNRecognizeTextRequest、条码识别用VNDetectBarcodesRequest。
4. 执行识别请求：通过VNImageRequestHandler加载图片并执行识别请求，处理返回结果。

SwiftUI完整代码示例 #

import SwiftUI
import PhotosUI
import Vision

struct PhotoScanView: View {
    @State private var selectedPhoto: PhotosPickerItem?
    @State private var recognizedContent = ""
    
    var body: some View {
        VStack(spacing: 20) {
            // 照片库选择按钮
            PhotosPicker(selection: $selectedPhoto, matching: .images) {
                Text("从照片库选择图片")
                    .padding()
                    .background(Color.blue)
                    .foregroundColor(.white)
                    .cornerRadius(8)
            }
            
            // 显示识别结果
            ScrollView {
                Text(recognizedContent)
                    .padding()
            }
        }
        .onChange(of: selectedPhoto) { newItem in
            Task {
                // 加载选中图片的Data并转为CGImage
                guard let imageData = try? await newItem?.loadTransferable(type: Data.self),
                      let uiImage = UIImage(data: imageData),
                      let cgImage = uiImage.cgImage else {
                    recognizedContent = "无法加载选中图片"
                    return
                }
                
                // 创建文字识别请求
                let textRequest = VNRecognizeTextRequest { request, error in
                    guard let results = request.results as? [VNRecognizedTextObservation], error == nil else {
                        recognizedContent = "识别失败：\(error?.localizedDescription ?? "未知错误")"
                        return
                    }
                    
                    // 提取识别出的文字
                    let fullText = results.compactMap { $0.topCandidates(1).first?.string }.joined(separator: "\n")
                    DispatchQueue.main.async {
                        recognizedContent = fullText
                    }
                }
                
                // 配置识别参数（支持中英文混合识别）
                textRequest.recognitionLanguages = ["zh-Hans", "en-US"]
                textRequest.usesLanguageCorrection = true
                
                // 执行识别请求
                let handler = VNImageRequestHandler(cgImage: cgImage)
                do {
                    try handler.perform([textRequest])
                } catch {
                    recognizedContent = "识别出错：\(error.localizedDescription)"
                }
            }
        }
    }
}

三、SwiftUI中的进阶实现思路 #

如果需要更复杂的文档处理（比如文档边缘检测、矫正），可以在识别前添加VNDetectDocumentSegmentationRequest，先识别文档区域，对图片进行裁剪矫正后再执行文字识别，提升识别准确率：

// 示例：先检测文档区域再矫正
let segmentationRequest = VNDetectDocumentSegmentationRequest { request, error in
    guard let results = request.results as? [VNDocumentSegmentationObservation], error == nil else { return }
    if let documentObservation = results.first {
        // 根据文档区域创建变换矩阵，裁剪矫正图片
        let transform = documentObservation.transform
        if let correctedCGImage = cgImage.transformed(by: transform) {
            // 使用矫正后的图片执行文字识别
            let textHandler = VNImageRequestHandler(cgImage: correctedCGImage)
            try? textHandler.perform([textRequest])
        }
    }
}
try? VNImageRequestHandler(cgImage: cgImage).perform([segmentationRequest])

内容的提问来源于stack exchange，提问作者user23460354