Android使用Jsoup实现URL预览遇问题，寻求替代方案

问题描述 #

开发Android应用时，尝试用Jsoup实现URL链接预览，遇到两个核心问题：

1. 部分链接缺少元数据，图片、描述等信息无法获取
2. 部分链接触发SSL握手错误：

java.lang.RuntimeException: javax.net.ssl.SSLHandshakeException: java.security.cert.CertPathValidatorException: Trust anchor for certification path not found.

已实现的代码如下：

订阅处理代码 #

Utils.getJsoupData(link)
    .subscribeOn(Schedulers.newThread())
    .observeOn(AndroidSchedulers.mainThread())
    .subscribe({ result: Document ->
        // Log the entire HTML content
        Log.d("TAG", "HTML Content: $result")
        val metaTags = result.getElementsByTag("meta")
        for (element in metaTags) {
            when {
                element.attr("property").equals("og:image") -> {
                    if (element.attr("content") != null) {
                        Picasso.get()
                            .load(element.attr("content"))
                            .into(binding.image)
                    } else {
                        binding.imageTitleDescriptionLayout.visibility = View.INVISIBLE
                    }
                }
                element.attr("property").equals("og:url") -> {
                    val browserUri = element.attr("content")
                    val i = Intent(Intent.ACTION_VIEW)
                    i.data = Uri.parse(browserUri)
                    context.startActivity(i)
                }
                element.attr("property").equals("og:title") -> binding.title.text = element.attr("content")
                element.attr("name").equals("description") -> {
                    if (element.attr("content") != null) {
                        binding.description.text = element.attr("content")
                        Log.d("TAG", "bind: The description text is ...${element.attr("content")}")
                    } else {
                        binding.imageTitleDescriptionLayout.visibility = View.INVISIBLE
                    }
                }
                element.attr("property").equals("og:url") -> {
                    binding.address.text = element.attr("content")
                    Log.d("TAG", "bind: The url text is ...${element.attr("content")}")
                }
            }
        }
    }, { error ->
        Toast.makeText(context, error.message + "there is an error ", Toast.LENGTH_SHORT).show()
        Log.e("TAG", "Error fetching data", error)
    })

Utils工具类代码 #

object Utils {
    @JvmStatic
    fun getJsoupData(url: String): Observable<Document> {
        return Observable.fromCallable {
            try {
                return@fromCallable Jsoup.connect(url)
                    .timeout(0)
                    .get()
            } catch (e: IOException) {
                throw RuntimeException(e)
            }
        }
    }
}

解决方案与替代方案 #

先修复现有Jsoup的问题 #

1. 解决SSL握手错误

Jsoup默认SSL验证会拦截部分证书不被系统信任的网站，可通过自定义SSL工厂绕过验证（注意：仅用于非敏感场景，生产环境建议添加可信证书）：
修改getJsoupData方法：

fun getJsoupData(url: String): Observable<Document> {
    return Observable.fromCallable {
        try {
            val sslContext = SSLContext.getInstance("TLS")
            sslContext.init(null, arrayOf<TrustManager>(object : X509TrustManager {
                override fun checkClientTrusted(chain: Array<out X509Certificate>?, authType: String?) {}
                override fun checkServerTrusted(chain: Array<out X509Certificate>?, authType: String?) {}
                override fun getAcceptedIssuers(): Array<X509Certificate> = emptyArray()
            }), SecureRandom())
            
            return@fromCallable Jsoup.connect(url)
                .sslSocketFactory(sslContext.socketFactory)
                .timeout(10000) // 替换为合理超时，0会导致无限等待
                .get()
        } catch (e: Exception) {
            throw RuntimeException(e)
        }
    }
}

2. 优化元数据获取逻辑

现有代码仅读取Open Graph和description标签，可扩展读取更多备选标签提升兼容性：

var title = result.title() // 优先取<title>标签内容
var description = ""
var imageUrl = ""
var ogUrl = url // 默认用传入的URL

for (element in metaTags) {
    when {
        element.attr("property").equals("og:title", ignoreCase = true) -> {
            title = element.attr("content").takeIf { it.isNotEmpty() } ?: title
        }
        element.attr("property").equals("og:description", ignoreCase = true) -> {
            description = element.attr("content").takeIf { it.isNotEmpty() } ?: description
        }
        element.attr("name").equals("description", ignoreCase = true) -> {
            if (description.isEmpty()) description = element.attr("content")
        }
        element.attr("property").equals("og:image", ignoreCase = true) -> {
            imageUrl = element.attr("content").takeIf { it.isNotEmpty() } ?: imageUrl
        }
        element.attr("property").equals("og:url", ignoreCase = true) -> {
            ogUrl = element.attr("content").takeIf { it.isNotEmpty() } ?: ogUrl
        }
    }
}

// 如果未找到图片，尝试抓取页面内的首张大图
if (imageUrl.isEmpty()) {
    val images = result.select("img[src]")
    if (images.isNotEmpty()) {
        imageUrl = images.first()!!.attr("src")
        // 相对路径转绝对路径
        if (!imageUrl.startsWith("http")) {
            imageUrl = result.baseUri() + imageUrl
        }
    }
}

// 赋值到UI
binding.title.text = title.takeIf { it.isNotEmpty() } ?: "无标题"
binding.description.text = description.takeIf { it.isNotEmpty() } ?: "无描述"
binding.address.text = ogUrl
if (imageUrl.isNotEmpty()) {
    Picasso.get().load(imageUrl).into(binding.image)
} else {
    binding.imageTitleDescriptionLayout.visibility = View.INVISIBLE
}

替代方案 #

1. 使用专门的链接预览库

• LinkPreviewView：Android原生风格的链接预览组件，内置元数据解析、SSL兼容处理，用法简洁：
  布局中添加组件后，调用加载方法：

  linkPreviewView.loadLink(link, object : LinkPreviewView.OnLinkLoadListener {
      override fun onLinkLoaded(meta: MetaData?, error: Throwable?) {
          if (meta != null) {
              // 自定义展示或使用默认布局
          }
      }
  })
  

• PreviewSeekBar：轻量型链接预览库，支持自定义UI样式，适配多种元数据格式。

2. 自建后端解析服务

若对数据准确性要求高，可搭建后端服务（如Node.js/Python）专门处理URL解析，Android端仅需请求后端接口获取预览数据。后端可使用metascraper等成熟库，能更全面解析元数据，同时规避Android端的SSL和跨域问题。

3. 使用WebView预加载解析

利用WebView加载URL，通过注入JavaScript获取页面元数据：

val webView = WebView(context)
webView.settings.javaScriptEnabled = true
webView.webViewClient = object : WebViewClient() {
    override fun onPageFinished(view: WebView?, url: String?) {
        view?.evaluateJavascript(
            "(function() { return {title: document.title, description: document.querySelector('meta[name=\"description\"]')?.content, image: document.querySelector('meta[property=\"og:image\"]')?.content}; })()"
        ) { result ->
            // 解析JSON结果并更新UI
            val json = JSONObject(result)
            val title = json.getString("title")
            // 处理其他字段
        }
    }
}
webView.loadUrl(link)

注意：该方式性能稍差，需注意处理WebView内存泄漏问题。

内容的提问来源于stack exchange，提问作者Patrick Renaud