关于Apache Nutch插件及PDF爬取与索引的技术问询

嘿，我来帮你梳理这两个关于Apache Nutch的问题：

1. 是否存在可同时索引网页HTML与保留格式原始PDF的插件？ #

Apache Nutch本身原生支持HTML内容的解析与索引，而针对PDF文件，你可以借助**tika-parser插件**来实现——这个插件集成了Apache Tika，能处理包括PDF在内的多种文档格式。

不过要注意，默认配置下tika-parser可能只提取PDF的纯文本内容。如果想要保留PDF的格式信息（比如排版结构、字体样式、段落布局等），你需要对Tika的PDF解析器做额外配置：

• 在Nutch的配置文件中，调整Tika的参数，比如启用PDF的布局提取模式，让解析器输出包含格式标记的内容（类似带结构的HTML或XHTML）。
• 确保tika-parser插件在Nutch的插件列表中被启用，同时在nutch-site.xml中配置parser.selector.class为对应的Tika解析器类。

另外，也可以基于Nutch的扩展机制自定义解析插件，结合Tika的高级PDF解析能力，实现更精准的格式保留需求。

2. 能否利用Nutch爬取HTML文件中包含的内部PDF链接？ #

完全可以！Nutch的链接提取逻辑默认会扫描HTML页面中的所有链接，包括指向PDF文件的内部链接（不管是绝对URL还是相对路径）。你只需要做以下几步配置：

• 在regex-urlfilter.txt文件中添加允许PDF文件的规则，比如：

  +^https?://.+\.pdf$
  

  这条规则会让Nutch允许抓取所有HTTP/HTTPS协议下的PDF文件。
• 确保Nutch的followLinks配置项设置为true（默认就是开启状态），这样爬虫会跟随页面中的链接继续抓取。
• 如果是相对路径的PDF链接，Nutch的链接解析模块会自动将其转换为绝对URL，无需额外处理。

只要配置正确，Nutch就会像抓取普通HTML页面一样，发现并爬取HTML中包含的内部PDF链接。

内容的提问来源于stack exchange，提问作者Kp88