Apache Jena中如何处理model.read()的非200响应码？

嘿，这个问题我之前踩过坑！首先，你碰到的403大概率是因为服务器拦截了没有User-Agent的请求——很多网站会拒绝这种“无标识”的爬虫请求。另外，你之前的尝试确实走不通，因为model.read()根本不会返回URL，得换个思路来处理HTTP响应码的问题。

下面给你两种可行的解决方案：

方案1：自定义Jena全局HTTP客户端（推荐） #

Apache Jena允许你配置全局的HTTP客户端，添加必要的请求头（比如User-Agent），同时能捕获HTTP异常并获取响应码。这样所有model.read()请求都会复用这个配置，统一处理403这类问题。

import org.apache.jena.atlas.web.HttpException;
import org.apache.jena.atlas.web.HttpOp;
import org.apache.jena.rdf.model.Model;
import org.apache.jena.rdf.model.ModelFactory;
import org.apache.jena.query.*;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicHeader;
import java.util.List;

// 1. 构建自定义HTTP客户端，添加User-Agent等请求头
CloseableHttpClient httpClient = HttpClients.custom()
        .setDefaultHeaders(List.of(
                new BasicHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
        ))
        .setDefaultRequestConfig(RequestConfig.custom()
                .setConnectTimeout(5000)
                .setSocketTimeout(5000)
                .build())
        .build();

// 2. 设置Jena使用这个自定义客户端
HttpOp.setDefaultHttpClient(httpClient);

// 3. 读取模型并捕获HTTP异常
Model modelTmp = ModelFactory.createDefaultModel();
try {
    modelTmp.read(string, "");
} catch (HttpException e) {
    int statusCode = e.getResponseCode();
    System.err.println("HTTP请求失败，状态码：" + statusCode);
    if (statusCode == 403) {
        System.err.println("请求被服务器拒绝，大概率是缺少合法的User-Agent，或者需要权限验证");
        // 这里可以添加重试逻辑，或者调整请求头
    }
    // 其他状态码的处理逻辑
}

// 4. 后续查询代码保持不变
String queryString = "PREFIX dbpedia-owl: <http://dbpedia.org/ontology/> " +
        "select distinct ?rdr " +
        "WHERE {?s dbpedia-owl:wikiPageRedirects ?rdr }";
Query query = QueryFactory.create(queryString);
try (QueryExecution qexec = QueryExecutionFactory.create(query, modelTmp)) {
    ResultSet results = qexec.execSelect();
    // 处理查询结果
}

方案2：手动发起HTTP请求，校验响应码后再读取模型 #

如果你不想全局配置客户端，也可以自己先发起HTTP请求，检查响应码没问题后，再把输入流传给model.read()。

import org.apache.jena.rdf.model.Model;
import org.apache.jena.rdf.model.ModelFactory;
import org.apache.jena.query.*;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;

Model modelTmp = ModelFactory.createDefaultModel();
URL url = new URL(string);
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setRequestMethod("GET");
// 添加User-Agent，避免被服务器拦截
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36");

int statusCode = connection.getResponseCode();
if (statusCode == HttpURLConnection.HTTP_OK) {
    // 响应正常，读取输入流到模型
    try (InputStream is = connection.getInputStream()) {
        modelTmp.read(is, "", ""); // 第三个参数为RDF格式，留空会自动检测
    }
} else {
    System.err.println("HTTP请求失败，状态码：" + statusCode);
    if (statusCode == 403) {
        System.err.println("服务器拒绝请求，请检查是否需要身份验证或调整请求头");
    }
    // 其他错误处理逻辑
}

// 后续查询代码...

为什么你之前的方法行不通？ #

model.read(string, "")是直接读取并解析目标URL的RDF内容，它的返回值是Model对象（不是URL），所以你试图用它的返回值创建URL对象的逻辑从根本上就不对。必须在调用model.read()之前，或者通过自定义HTTP客户端的方式，提前处理HTTP请求的响应校验。

内容的提问来源于stack exchange，提问作者Acantya