基于Python从单张阴影图生成Height Map的技术方案问询

针对你遇到的单图生成高度图瓶颈，这里提供几种可落地的实现方案，覆盖从基础到AI驱动的不同场景，可根据Web应用需求选择：

一、基础明暗+边缘增强方案（贴近Materialize的bounding box逻辑） #

Materialize的bounding box方法核心是保留图像边缘的同时，将明暗信息映射为高度差——仅用高斯模糊会丢失边缘细节，因此需要结合边缘检测和保边模糊：

• 实现步骤：

  1. 将原图转为灰度图，提取基础明暗信息；
  2. 用双边模糊替代高斯模糊，在平滑区域的同时保留边缘；
  3. 用Canny边缘检测提取图像轮廓，反转后让亮边缘对应高高度；
  4. 将模糊灰度图与边缘图加权融合，突出轮廓处的高度差。

• Python代码示例（基于OpenCV）：

import cv2
import numpy as np

def generate_basic_height_map(image_path, edge_weight=0.35):
    # 读取图像并转灰度
    img = cv2.imread(image_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    # 双边模糊：保留边缘的平滑处理
    blurred_gray = cv2.bilateralFilter(gray, d=11, sigmaColor=60, sigmaSpace=60)
    
    # Canny边缘检测，反转后边缘为亮色（对应高高度）
    edges = cv2.Canny(blurred_gray, 40, 140)
    edges = 255 - edges
    
    # 融合基础明暗与边缘信息
    height_map = cv2.addWeighted(blurred_gray, 1 - edge_weight, edges, edge_weight, 0)
    
    # 可选：调整对比度，让高度差更明显
    height_map = cv2.convertScaleAbs(height_map, alpha=1.2, beta=10)
    
    return height_map

二、AI单目深度估计方案（效果更接近真实高度） #

如果追求更精准的高度关系，可使用预训练的单目深度模型直接生成深度图，再转为高度图，效果远超传统方法：

• 实现步骤：

  1. 加载预训练的MiDaS轻量模型（适合Web部署）；
  2. 对输入图像做预处理，送入模型生成深度图；
  3. 将深度图归一化到[0,255]范围，根据需求反转明暗对应关系。

• Python代码示例（基于PyTorch）：

import torch
import cv2
import numpy as np

def generate_ai_height_map(image_path):
    # 加载轻量版MiDaS模型
    model_type = "MiDaS_small"
    midas = torch.hub.load("intel-isl/MiDaS", model_type)
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    midas.to(device).eval()
    
    # 获取模型对应的图像转换规则
    midas_transforms = torch.hub.load("intel-isl/MiDaS", "transforms")
    transform = midas_transforms.small_transform if model_type == "MiDaS_small" else midas_transforms.default_transform
    
    # 读取并预处理图像
    img = cv2.imread(image_path)
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    input_batch = transform(img_rgb).to(device)
    
    # 生成深度图
    with torch.no_grad():
        prediction = midas(input_batch)
        prediction = torch.nn.functional.interpolate(
            prediction.unsqueeze(1),
            size=img.shape[:2],
            mode="bicubic",
            align_corners=False,
        ).squeeze()
    
    # 归一化转为高度图，反转后亮区对应高高度
    depth_map = prediction.cpu().numpy()
    height_map = cv2.normalize(depth_map, None, 0, 255, cv2.NORM_MINMAX, dtype=cv2.CV_8U)
    height_map = 255 - height_map
    
    return height_map

三、特定材质的特征映射方案（针对细分场景） #

如果应用专注于特定材质（如石材、木纹），可自定义纹理特征到高度的映射规则：

• 木纹：用Gabor滤波提取年轮纹理，将纹理密集区映射为低高度，间隙区映射为高高度；
• 石材：提取裂缝、凹凸纹理的特征点，强化这些区域的高度差。

部署建议 #

• 基础方案适合Web应用实时生成，资源消耗极低；
• AI方案若部署在后端，建议转ONNX模型优化推理速度；若想前端生成，可使用TensorFlow.js版本的MiDaS；
• 可提供参数调节功能（如边缘权重、对比度），让用户匹配所需的Height Map效果。

内容的提问来源于stack exchange，提问作者Mukmin Arrijal