如何将PDF Dataset转换为MediaSet？实现方法及代码咨询

核心思路 #

MediaSet本质是包含媒体元素（文本、图片、元数据）的结构化集合，转换流程分为PDF内容提取和MediaSet结构化封装两步。

步骤1：提取PDF中的核心内容 #

用Python的PyPDF2或pdfplumber提取文本，pdf2image提取图片（如果需要）。

代码示例：提取PDF文本与图片 #

import PyPDF2
import pdfplumber
from pdf2image import convert_from_path
import os

# 提取PDF文本内容
def extract_pdf_text(pdf_path):
    text_content = ""
    with pdfplumber.open(pdf_path) as pdf:
        for page in pdf.pages:
            text_content += page.extract_text() or ""
    return text_content

# 提取PDF中的页面图片
def extract_pdf_images(pdf_path, output_dir="pdf_images"):
    os.makedirs(output_dir, exist_ok=True)
    pages = convert_from_path(pdf_path)
    for idx, page in enumerate(pages):
        img_path = os.path.join(output_dir, f"page_{idx+1}.png")
        page.save(img_path, "PNG")
    return output_dir

# 调用示例
pdf_file = "your_dataset.pdf"
pdf_text = extract_pdf_text(pdf_file)
image_dir = extract_pdf_images(pdf_file)

步骤2：封装为MediaSet结构 #

MediaSet一般用JSON格式结构化存储，包含每个媒体项的ID、类型（文本/图片）、内容/路径、元数据（页码、来源PDF等）。

代码示例：生成结构化MediaSet #

import json

def build_mediaset(pdf_text, image_dir, pdf_filename):
    mediaset = {
        "dataset_name": pdf_filename,
        "media_items": []
    }
    
    # 添加全量文本项
    mediaset["media_items"].append({
        "id": "text_001",
        "type": "text",
        "content": pdf_text,
        "metadata": {
            "source": pdf_filename,
            "content_type": "full_pdf_text"
        }
    })
    
    # 添加页面图片项
    for img_file in os.listdir(image_dir):
        if img_file.endswith(".png"):
            page_num = img_file.split('_')[1].split('.')[0]
            mediaset["media_items"].append({
                "id": f"img_{page_num}",
                "type": "image",
                "path": os.path.join(image_dir, img_file),
                "metadata": {
                    "source": pdf_filename,
                    "page_number": page_num,
                    "format": "PNG"
                }
            })
    
    # 保存为JSON格式的MediaSet文件
    output_file = f"{pdf_filename}_mediaset.json"
    with open(output_file, "w", encoding="utf-8") as f:
        json.dump(mediaset, f, indent=2, ensure_ascii=False)
    return output_file

# 调用示例
mediaset_file = build_mediaset(pdf_text, image_dir, pdf_file)
print(f"MediaSet已生成：{mediaset_file}")

后续操作流程 #

1. 安装依赖：执行pip install PyPDF2 pdfplumber pdf2image
2. 将上述代码保存为pdf_to_mediaset.py
3. 替换代码中的your_dataset.pdf为你的PDF数据集路径
4. 运行脚本：python pdf_to_mediaset.py
5. 生成的xxx_mediaset.json就是标准的结构化MediaSet文件，可直接用于后续媒体数据处理或模型输入

内容的提问来源于stack exchange，提问作者ZettaP