Rust操作AWS S3下载PDF提取文本报错：无效文件头

可能的问题原因 #

• 异步文件写入未完成：tokio::io::copy执行后，文件缓冲数据可能未完全写入磁盘，直接读取会导致内容不完整，触发无效头错误。
• S3对象Key解码不规范：手动替换+为空格的处理方式可能遗漏其他URL编码字符，导致下载的不是目标PDF文件。
• 依赖版本不兼容：aws-sdk-s3与aws-config版本不匹配，可能引发S3客户端响应处理异常。

调试与修复建议 #

1. 确保文件写入完成并同步 #

在复制字节流后，强制将缓冲数据写入磁盘，避免读取不完整文件：

tokio::io::copy(&mut bytes, &mut file).await?;
file.sync_all().await?; // 新增该行，确保所有数据写入磁盘

2. 验证下载内容的有效性 #

在写入文件前，检查字节流开头是否符合PDF标准头（%PDF-），快速确认下载内容是否正确：

use bytes::Bytes;

// 将S3响应体转换为Bytes以便检查
let bytes = content.body.collect().await?.into_bytes();

// 验证PDF文件头
if bytes.starts_with(b"%PDF-") {
    println!("PDF header verified");
} else {
    eprintln!("Invalid header: {:?}", &bytes[0..5]);
    return Err(anyhow::anyhow!("Downloaded content is not a valid PDF"));
}

// 写入文件并同步
let mut file = tokio::fs::File::create(&path).await?;
tokio::io::write_all(&mut file, &bytes).await?;
file.sync_all().await?;

3. 规范S3对象Key解码 #

使用标准URL解码工具处理Key，避免手动替换的局限性：

use url::form_urlencoded;

let key = event.records.get(0).unwrap().s3.object.key.clone();
// 用form_urlencoded解码S3的URL编码Key
let decoded_key = form_urlencoded::parse(key.as_bytes())
    .map(|(k, v)| format!("{k}{v}"))
    .collect::<String>();

4. 绕过临时文件，直接内存处理 #

改用支持内存读取的PDF库（如pdf-rs），避免临时文件IO问题：

// 添加依赖：pdf-rs = "0.8.0"
use pdf::file::File;

let bytes = content.body.collect().await?.into_bytes();
let pdf_file = File::from_bytes(&bytes)?;

let mut text = String::new();
for page in pdf_file.pages() {
    let page = page?;
    text.push_str(&page.extract_text()?);
}

5. 统一AWS依赖版本 #

aws-sdk-s3与aws-config版本需匹配，修改Cargo.toml：

tokio = { version = "1", features = ["macros", "full"] }
aws-sdk-s3 = "0.21.0"
aws-config = "0.21.0" # 与aws-sdk-s3版本保持一致
pdf-extract = "0.6.4"

内容的提问来源于stack exchange，提问作者superfuzzy