如何从2D游戏截图生成对应可通行属性的boolean matrix？

最优方案：利用官方tile资源实现（准确率&效率最高） #

你手里的32x32 tile绘制规则、配套tileset、官方不可通行tile清单是最核心的可用资源，完全可以规避你之前遇到的颜色冲突、计算耗时高的问题，实现步骤如下：

步骤1：预处理tileset生成黑名单特征库 #

• 将官方tileset切割为单张32x32的tile样本，为每个tile生成唯一识别特征：因为游戏场景的tile是无变形复用的，可直接计算每张tile的感知哈希(dhash)或者直接对像素值做MD5哈希，特征值完全可以唯一对应一张tile。
• 将官方给出的不可通行tile对应的特征值存入哈希集合，作为不可通行黑名单。

步骤2：处理输入截图生成布尔矩阵 #

• 先对输入截图做对齐处理：若截图宽高不是32的整数倍，裁剪边缘多余像素，保证截图可被完整切分为若干32x32的网格块。
• 按32x32的网格逐块切割截图，为每个块生成和tile样本一致的特征值，和黑名单匹配：
  • 匹配命中：该块所有像素标记为0
  • 未匹配命中：该块所有像素标记为1
• 直接拼接所有块的标记结果即可得到最终的布尔矩阵。

该方案的计算量仅为逐像素比对的1/1024，同时完全规避了同色不同通行属性的问题，准确率几乎100%。

备用方案：无tile匹配条件时的处理方法 #

如果遇到截图有动态元素、UI遮挡等无法完美匹配tile的场景，可采用轻量语义分割方案：

• 标注10~20张同场景游戏截图的可通行/不可通行区域作为训练集
• 选用轻量语义分割模型（如MobileNet-Unet）做二分类训练，收敛后直接推理截图生成掩码，转成布尔矩阵即可。

你之前尝试方案的优化方向 #

• 颜色白名单方案：仅在无任何官方资源的场景下使用，可搭配边缘检测、区域生长算法过滤同色的不可通行区域，计算耗时可以通过numpy向量化操作优化，无需逐像素循环。
• 阈值处理：确实不适用于多颜色的复杂场景，无需继续尝试。
• PIL图像量化：仅作为语义分割/传统图像分割的前置预处理步骤，单独使用没有效果。

内容的提问来源于stack exchange，提问作者Nathan