HDFS存储的PDF/DOCX文件Python解析方案咨询

嘿，这个问题我之前做大数据文本提取的时候也踩过坑，给你几个实用的解决思路：

其实不用把文件下载到本地，你可以用原生HDFS库读取二进制内容后，用io.BytesIO把二进制流包装成类文件对象，再传给docx2txt、pdfminer这些库处理——它们大多支持从类文件对象读取数据，而不只是本地文件路径。

DOCX提取示例： #

from hdfs import Client
import docx2txt
import io

# 初始化HDFS客户端
client = Client("http://your-namenode:50070")

# 读取HDFS上的DOCX文件二进制内容
with client.read("/path/to/your/file.docx") as f:
    docx_binary = f.read()

# 包装成类文件对象
docx_file = io.BytesIO(docx_binary)

# 提取文本
text = docx2txt.process(docx_file)
print(text)

PDF提取示例（用pdfminer.six）： #

from hdfs import Client
from pdfminer.high_level import extract_text
import io

client = Client("http://your-namenode:50070")

with client.read("/path/to/your/file.pdf") as f:
    pdf_binary = f.read()

pdf_file = io.BytesIO(pdf_binary)
text = extract_text(pdf_file)
print(text)

如果需要处理更多格式（不止PDF和DOCX），Apache Tika绝对是首选——它天生支持HDFS，而且能自动识别文件类型并提取内容。你可以通过Python的tika库调用Tika服务，甚至直接传入HDFS路径（前提是Tika服务所在节点能访问HDFS）。

步骤： #

1. 先启动Tika服务（可以用Docker或者直接下载jar包运行）：

java -jar tika-server-2.x.jar

2. Python代码调用：

from tika import parser

# 直接传入HDFS路径（Tika需配置HDFS环境）
parsed = parser.from_file("hdfs://namenode:9000/path/to/your/file.docx")
print(parsed["content"])

# 或者读取二进制流后传入
from hdfs import Client
import io

client = Client("http://your-namenode:50070")
with client.read("/path/to/your/file.pdf") as f:
    pdf_binary = f.read()

parsed = parser.from_buffer(pdf_binary)
print(parsed["content"])

如果文件不大，也可以先把HDFS上的文件临时下载到本地临时目录，处理完再删除。这种方式简单直观，但大文件会有IO开销，不推荐批量使用。

from hdfs import Client
import docx2txt
import tempfile
import os

client = Client("http://your-namenode:50070")

# 创建临时目录
with tempfile.TemporaryDirectory() as tmpdir:
    local_path = os.path.join(tmpdir, "temp.docx")
    # 下载HDFS文件到本地
    client.download("/path/to/your/file.docx", local_path)
    # 提取文本
    text = docx2txt.process(local_path)
    print(text)
# 临时目录会自动删除

内容的提问来源于stack exchange，提问作者Sugandha Mishra