如何在ARKit中捕获图像并转换为指定格式字节数组发送至TCP服务器

刚好遇到过类似的需求，我来给你一个可靠的实现方法——你要的是原始未压缩的RGB像素字节数组，之前用UIImagePNGRepresentation走偏了，因为它输出的是压缩后的PNG格式数据，大小会随图像内容变化，完全不是你需要的逐像素RGB排列数据。

核心思路 #

我们需要直接从UIImage的CGImage中提取原始像素数据，通过创建一个RGB格式的位图上下文，将图像绘制进去后直接获取内存中的像素字节，这样就能得到严格符合宽度×高度×3大小的UInt8数组（每个像素依次是R、G、B各1字节）。

实现代码 #

首先给UIImage写一个扩展方法，专门用来转换RGB字节数组：

extension UIImage {
    func rgbPixelBytes() -> [UInt8]? {
        // 先纠正图像方向，避免因UIImage orientation导致像素排列混乱
        guard let cgImage = self.cgImage else { return nil }
        let correctedImage = UIImage(cgImage: cgImage, scale: self.scale, orientation: .up)
        guard let correctedCGImage = correctedImage.cgImage else { return nil }
        
        let pixelWidth = correctedCGImage.width
        let pixelHeight = correctedCGImage.height
        
        // 创建sRGB颜色空间，确保颜色格式正确
        guard let colorSpace = CGColorSpace(name: CGColorSpace.sRGB) else { return nil }
        
        // 计算总字节数：每个像素3字节（R/G/B）
        let bytesPerPixel = 3
        let bytesPerRow = pixelWidth * bytesPerPixel
        let totalBytes = bytesPerRow * pixelHeight
        
        // 预分配内存存储像素数据
        var pixelBytes = [UInt8](repeating: 0, count: totalBytes)
        
        // 创建位图上下文：指定8位/通道、无alpha、使用我们的内存缓冲区
        guard let context = CGContext(data: &pixelBytes,
                                      width: pixelWidth,
                                      height: pixelHeight,
                                      bitsPerComponent: 8,
                                      bytesPerRow: bytesPerRow,
                                      space: colorSpace,
                                      bitmapInfo: CGImageAlphaInfo.none.rawValue) else {
            print("Failed to create CGContext")
            return nil
        }
        
        // 将图像绘制到上下文，像素数据会直接写入pixelBytes数组
        context.draw(correctedCGImage, in: CGRect(x: 0, y: 0, width: pixelWidth, height: pixelHeight))
        
        return pixelBytes
    }
}

然后在你的按钮点击方法中调用这个扩展：

@IBOutlet weak var sceneView: ARSCNView!

@IBAction func sendButtonAction(_ sender: Any) {
    let captureImage = self.sceneView.snapshot()
    
    // 转换为RGB字节数组
    guard let rgbBytes = captureImage.rgbPixelBytes() else {
        print("Failed to convert image to RGB bytes")
        return
    }
    
    // 验证数组大小是否符合预期（可选）
    let actualPixelWidth = Int(captureImage.size.width * captureImage.scale)
    let actualPixelHeight = Int(captureImage.size.height * captureImage.scale)
    let expectedSize = actualPixelWidth * actualPixelHeight * 3
    print("Expected byte size: \(expectedSize), Actual size: \(rgbBytes.count)")
    
    // 这里将rgbBytes转为Data，就可以发送到TCP服务器了
    let sendData = Data(rgbBytes)
    // 接下来执行你的TCP发送逻辑即可
}

关键细节说明 #

• 图像方向纠正：UIImage的orientation属性会影响像素的实际存储顺序，我们强制转为.up方向，确保上下文绘制的是正确的像素排列。
• 无Alpha通道：通过CGImageAlphaInfo.none.rawValue指定上下文不包含Alpha通道，直接生成纯RGB三通道数据，正好符合你的需求。
• 像素尺寸计算：ARSCNView的snapshot返回的UIImage的size是逻辑尺寸，实际像素尺寸需要乘以scale（比如Retina屏是2或3），这也是数组大小的计算依据。

注意事项 #

如果你的TCP服务器需要特定的字节顺序（比如大端/小端），可以根据需求调整字节排列，但通常RGB的顺序就是R→G→B依次存储，每个通道是0-255的UInt8值。

内容的提问来源于stack exchange，提问作者cslee92