Streamlit上传图像转NumPy数组及提取图中点的技术咨询

一、先修正当前代码的错误 #

st.image()返回的是Streamlit的UI组件对象，而非图像数据。正确的做法是先用PIL打开上传的文件，再转换为numpy数组：

import streamlit as st
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from PIL import Image

st.title("Object Classification System")
img = st.file_uploader("Upload your image here...", type=['png', 'jpeg'])
if img is not None:
    # 用PIL打开图像文件
    image = Image.open(img)
    st.image(image, caption='Graph')
    # 转换为numpy数组
    data = np.array(image)

二、不借助AI实现图表转点列表的方案 #

完全可以不依赖AI实现，核心是通过传统计算机视觉技术提取图表元素并映射为数值点，步骤如下：

• 图像预处理：将彩色图像转为灰度图，通过二值化去除背景噪声，保留图表的线条（坐标轴、曲线）。例如用PIL的image.convert('L')做灰度化，再用阈值处理生成二值图。
• 坐标轴与刻度识别：使用边缘检测（如OpenCV的Canny算法）提取线条，再通过霍夫直线检测定位横纵坐标轴。接着识别坐标轴上的刻度文字（可用Tesseract OCR），建立像素坐标与实际数值的映射关系（比如x轴像素位置px对应数值x_val，计算比例系数）。
• 曲线点提取与采样：遍历二值图中的非背景像素，筛选出属于曲线的点（排除坐标轴和其他干扰），然后按照你需要的特定间隔（比如按x轴数值间隔）对这些点进行采样，最后通过之前的映射关系转换为实际数值点列表。

这种方案适合结构规范的图表（如标准折线图、柱状图），对复杂手绘图表兼容性较差，但无需依赖AI模型，运算速度快。

三、必须使用AI时的最简高效实现方法 #

如果需要处理复杂或非标准图表，最简高效的方式是利用现成的开源图表理解模型或工具：

• 轻量开源库调用：使用专门的图表转数据工具，比如plot-digitizer，只需传入图像路径即可直接提取点数据，无需自己训练模型。
• 预训练模型推理：使用Hugging Face上的轻量图表问答/提取模型（如microsoft/chartqa-small），通过简单的API调用输入图像，指定提取曲线点的需求，即可返回结构化的点列表。这种方式无需训练，只需安装transformers和相关依赖即可快速实现。
• OCR+AI辅助映射：用Tesseract OCR识别刻度数值，再结合轻量CNN模型（如预训练的图像分割模型）提取曲线区域，自动完成像素到数值的映射，这种组合方式兼顾精度和轻量化。

内容的提问来源于stack exchange，提问作者s j