在AWS Lambda中用Go的pdfcpu库提取PDF可读文本的问题求助

pdfcpu v0.8.0问题排查 #

• 检查PDF文件读取完整性：Lambda环境中，无论是从S3下载到临时目录还是直接读取文件流，必须确保PDF文件完整。如果使用os.Open读取临时文件，要确认文件下载完成；如果是从event获取字节流，需验证字节长度与原文件一致。pdfcpu依赖完整的PDF结构，部分损坏或不完整的文件会导致提取结果为空。
• 验证API调用正确性：v0.8.0版本的pdfcpu需使用正确的文本提取API，示例代码如下：

import "github.com/pdfcpu/pdfcpu/pkg/api"

func extractPDFText(pdfPath string) (string, error) {
    // 使用默认配置提取全部页面文本
    text, err := api.ExtractTextFile(pdfPath, nil, nil)
    if err != nil {
        return "", err
    }
    return text, nil
}

避免错误地使用解析或渲染API替代文本提取接口，同时不要随意修改默认配置，某些配置会跳过文本解析逻辑。

• 排查Lambda运行环境：确保Lambda的Go运行时版本在1.18及以上，与pdfcpu v0.8.0的兼容要求匹配；检查Lambda的临时存储（/tmp）是否有足够空间存放PDF文件；确认Lambda具备访问PDF源存储（如S3）的IAM权限，避免因权限不足导致文件读取失败。
• 确认PDF类型：pdfcpu仅支持提取文本型PDF的内容，扫描版PDF本质是图片，无法直接提取文本，需结合OCR工具处理。

其他Go语言PDF文本提取方案 #

• gopdf：轻量级PDF解析库，API简洁，适合常规文本提取场景，无需复杂配置：

import (
    "os"
    "github.com/signintech/gopdf"
)

func extractTextWithGopdf(pdfPath string) (string, error) {
    pdf := gopdf.GoPdf{}
    if err := pdf.Open(pdfPath); err != nil {
        return "", err
    }
    defer pdf.Close()

    totalText := ""
    pageCount := pdf.GetPageCount()
    for pageNum := 1; pageNum <= pageCount; pageNum++ {
        pageText, err := pdf.GetPageText(pageNum)
        if err != nil {
            return "", err
        }
        totalText += pageText
    }
    return totalText, nil
}

• unipdf：功能全面的PDF处理库，支持复杂PDF结构的文本提取，还可集成Tesseract实现扫描版PDF的OCR文本提取：

import (
    "os"
    "github.com/unidoc/unipdf/v3/extractor"
    "github.com/unidoc/unipdf/v3/model"
)

func extractTextWithUnipdf(pdfPath string) (string, error) {
    file, err := os.Open(pdfPath)
    if err != nil {
        return "", err
    }
    defer file.Close()

    reader, err := model.NewPdfReader(file)
    if err != nil {
        return "", err
    }

    numPages, err := reader.GetNumPages()
    if err != nil {
        return "", err
    }

    totalText := ""
    for pageNum := 1; pageNum <= numPages; pageNum++ {
        page, err := reader.GetPage(pageNum)
        if err != nil {
            return "", err
        }

        ex, err := extractor.New(page)
        if err != nil {
            return "", err
        }

        pageText, err := ex.ExtractText()
        if err != nil {
            return "", err
        }
        totalText += pageText
    }
    return totalText, nil
}

• 命令行工具集成：若Lambda允许部署自定义层，可打包Poppler工具集，通过Go调用pdftotext命令提取文本，适合处理格式复杂的PDF。需注意在Linux环境下编译Poppler，确保与Lambda的Amazon Linux 2运行时兼容。

内容的提问来源于stack exchange，提问作者kishor purohit