基于最新ARCore SDK（不含Sceneform）的Android Kotlin开发指导求助

环境与依赖准备 #

• 引入最新ARCore SDK依赖，在Module级build.gradle中添加：

  implementation 'com.google.ar:core:1.32.0' // 替换为当前最新版本
  

• 配置AndroidManifest.xml：
  • 添加相机权限：<uses-permission android:name="android.permission.CAMERA"/>
  • 声明ARCore要求：<meta-data android:name="com.google.ar.core" android:value="required"/>
  • 可选开启调试日志：<meta-data android:name="com.google.ar.core.debug" android:value="true"/>
• 启动时检查ARCore支持：调用ArCoreApk.getInstance().requestInstall(this, true)，确保设备已安装或自动安装ARCore服务

核心ARCore与OpenGL交互流程 #

1. ARCore会话管理 #

• 初始化Session对象，在SurfaceView的onSurfaceCreated回调中完成：

  val session = Session(this)
  val config = session.config.apply {
      updateMode = Config.UpdateMode.LATEST_CAMERA_IMAGE
  }
  session.configure(config)
  session.setSurface(surfaceHolder.surface)
  

• 处理生命周期：onPause时调用session.pause()，onResume时调用session.resume()，onDestroy时调用session.close()

2. 获取AR相机矩阵 #

在onDrawFrame中更新ARCore帧，获取关键矩阵用于OpenGL渲染：

val frame = session.update()
val camera = frame.camera

// 获取投影矩阵（near/far根据需求调整，比如0.1f到100f）
val projMatrix = FloatArray(16)
camera.getProjectionMatrix(projMatrix, 0, 0.1f, 100f)

// 获取视图矩阵
val viewMatrix = FloatArray(16)
camera.getViewMatrix(viewMatrix, 0)

3. 创建锚点（模型挂载点） #

处理屏幕点击事件，命中AR平面并创建锚点：

override fun onTouchEvent(event: MotionEvent): Boolean {
    if (event.action == MotionEvent.ACTION_UP) {
        val frame = session.update()
        val hits = frame.hitTest(event.x, event.y)
        hits.firstOrNull { it.isHitResultTracked && it.trackable is Plane }?.let { hitResult ->
            val anchor = hitResult.createAnchor()
            // 保存锚点，后续用于更新模型矩阵
            this.currentAnchor = anchor
        }
    }
    return super.onTouchEvent(event)
}

自定义模型渲染实现 #

1. 模型数据处理 #

• 选择OBJ/GLTF格式模型，解析出顶点位置、法线（可选）、UV（可选）数据
• 确保模型使用右手坐标系（ARCore标准），若模型是左手系，反转Z轴坐标（z = -z）

2. OpenGL渲染管线搭建 #

顶点着色器（vertex_shader.glsl）

attribute vec4 aPosition;
uniform mat4 uModelMatrix;
uniform mat4 uViewMatrix;
uniform mat4 uProjectionMatrix;

void main() {
    gl_Position = uProjectionMatrix * uViewMatrix * uModelMatrix * aPosition;
}

片段着色器（fragment_shader.glsl）

precision mediump float;

void main() {
    gl_FragColor = vec4(0.6, 0.8, 0.2, 1.0); // 自定义纯色，可替换为纹理采样
}

初始化OpenGL程序与缓冲

在onSurfaceCreated中编译着色器，创建VBO/VAO存储模型顶点数据：

// 编译链接着色器程序（此处省略通用编译逻辑，需自行实现）
val program = createProgram(vertexShaderCode, fragmentShaderCode)
glUseProgram(program)

// 绑定顶点数据到VBO
val vbo = IntArray(1)
glGenBuffers(1, vbo, 0)
glBindBuffer(GL_ARRAY_BUFFER, vbo[0])
glBufferData(GL_ARRAY_BUFFER, vertexData.size * 4, vertexData, GL_STATIC_DRAW)

// 配置VAO
val vao = IntArray(1)
glGenVertexArrays(1, vao, 0)
glBindVertexArray(vao[0])
val positionLoc = glGetAttribLocation(program, "aPosition")
glEnableVertexAttribArray(positionLoc)
glVertexAttribPointer(positionLoc, 3, GL_FLOAT, false, 0, 0)

3. 绘制自定义模型 #

在onDrawFrame中，将锚点姿态转换为模型矩阵，执行绘制：

currentAnchor?.let { anchor ->
    val modelMatrix = FloatArray(16)
    anchor.pose.toMatrix(modelMatrix, 0)

    // 获取uniform变量位置
    val modelLoc = glGetUniformLocation(program, "uModelMatrix")
    val viewLoc = glGetUniformLocation(program, "uViewMatrix")
    val projLoc = glGetUniformLocation(program, "uProjectionMatrix")

    // 传递矩阵到着色器
    glUniformMatrix4fv(modelLoc, 1, false, modelMatrix, 0)
    glUniformMatrix4fv(viewLoc, 1, false, viewMatrix, 0)
    glUniformMatrix4fv(projLoc, 1, false, projMatrix, 0)

    // 绘制模型（vertexCount为模型顶点总数）
    glBindVertexArray(vao[0])
    glDrawArrays(GL_TRIANGLES, 0, vertexCount)
}

调试与排错技巧 #

• 检查锚点状态：通过anchor.trackingState确认锚点是否被跟踪，若为PAUSED或STOPPED，停止绘制该模型
• 验证矩阵正确性：打印projMatrix、viewMatrix、modelMatrix的数值，确认矩阵未出现NaN或异常值
• 简化测试：先渲染一个手动定义的立方体顶点数据，确认渲染流程正常后再替换为复杂模型
• 检查OpenGL错误：在关键调用后调用glGetError()，排查管线配置错误

内容的提问来源于stack exchange，提问作者MS-Biz