基于AWS与Postgres低成本实现百万级PDF全文检索方案咨询

1. PDF文本提取与预处理 #

• 用pdftotext（开源工具）结合AWS Lambda处理PDF文本提取：Lambda按调用次数收费，每周100-200份的量几乎可以用免费额度覆盖，比AWS Textract成本低很多。如果遇到扫描版PDF，再切换到Textract的按需模式（仅处理少量扫描件）。
• 提取文本后，生成摘要（可采用简单关键词提取或截断前N字符），同时记录PDF元数据（文件名、页数、上传时间、S3存储路径），将元数据和提取的全文文本同步到后续存储层。

2. 全文检索引擎选型（低成本优先） #

方案A：Postgres原生全文检索 + pg_trgm #

• 适合预算极低的场景：Postgres自带tsvector/tsquery全文检索，配合pg_trgm扩展实现模糊匹配，无需额外部署服务。
• 优化点：为tsvector字段建立GIN索引，分表存储PDF元数据与全文文本（避免单表过大），对高频搜索字段（如文件名、关键词）单独建索引。
• 局限性：100万级数据下，复杂查询的响应速度可能不如专业检索引擎，需定期清理无效数据。

方案B：OpenSearch Serverless #

• 性价比更高的专业检索方案：Serverless模式按存储量、查询次数计费，无需管理集群，自动扩缩容。
• 适配场景：100万份PDF的全文索引存储量约在几十GB（按每页1KB文本估算），每月成本仅几十美元，远低于自建OpenSearch集群。
• 集成方式：将Lambda提取的文本同步到OpenSearch Serverless的索引，前端直接调用其搜索API获取结果，再关联Postgres中的元数据。

3. 数据存储架构 #

• PDF文件存储：AWS S3智能分层存储，自动将不常用的PDF移到低成本的低频访问层，比标准存储节省约50%成本；开启版本控制防止误删，同时配置生命周期规则自动归档超期文件。
• 元数据存储：继续使用现有Postgres（推荐RDS Graviton2实例，比x86实例便宜约20%），存储PDF的基本信息、S3路径、摘要等，方便快速关联搜索结果与文件操作。
• 索引存储：方案A直接存在Postgres，方案B存在OpenSearch Serverless。

4. 搜索与用户功能实现 #

• 搜索框：前端实现类谷歌式输入框，支持实时联想（基于Postgres的pg_trgm模糊匹配或OpenSearch的suggest功能）。
• 结果展示：搜索返回后，从Postgres拉取元数据，展示PDF标题、摘要、页数等信息，提供两个核心功能：
  • 查看：用PDF.js内嵌展示，通过S3预签名URL获取文件（无需公开S3桶，保障安全）。
  • 下载：生成短期有效的S3预签名URL，用户点击即可下载。
• API层：用AWS API Gateway封装搜索、查看、下载接口，对接Postgres/OpenSearch与S3，控制访问权限。

5. 增量更新流程 #

• 每周新增的PDF：批量上传到S3指定目录，触发S3事件通知调用Lambda函数，自动完成文本提取、元数据写入Postgres、索引同步到检索引擎。
• 异常处理：Lambda中加入重试机制，失败任务存入SQS队列，定期重试；记录日志到CloudWatch，方便排查问题。

6. 成本优化细节 #

• Lambda：利用免费额度（每月100万次调用，400000 GB-秒计算时间），每周200份PDF的处理完全覆盖。
• S3：智能分层存储+生命周期规则，将30天未访问的PDF移到低频层，90天以上的移到归档层。
• Postgres：使用RDS按需实例，配合只读副本分担查询压力（如果搜索量较大），或用Aurora Serverless v2自动扩缩容。
• OpenSearch Serverless：启用自动暂停功能，空闲时关闭索引，进一步降低成本。

内容的提问来源于stack exchange，提问作者user3170450