如何让pd.concat忽略向量化错误并定位出错元素？

这个问题的核心是你的tbl10函数在遇到没有第10个表格的页面时会直接抛出错误，而np.vectorize没法处理单个元素的异常，导致整个流程中断。要实现忽略错误+定位出错元素的需求，我们可以通过显式循环+异常捕获来解决，比用np.vectorize更灵活可控。

第一步：修改表格获取函数，添加异常处理 #

我们把原来的tbl10改成带异常捕获的函数，同时关联原始的x元素，方便后续追踪：

import pandas as pd
import requests

def get_wiki_table(url, original_value):
    try:
        # 请求页面并尝试获取第10个表格
        tbl = pd.read_html(url)[10]
        # 给表格加一列标记原始x值，方便后续溯源
        tbl['source_x'] = original_value
        return tbl
    except IndexError:
        # 页面没有第10个表格时触发
        print(f"❌ 元素 '{original_value}' 对应的页面没有第10个表格")
        return None
    except requests.exceptions.RequestException as e:
        # 处理网络请求错误（比如页面不存在、超时等）
        print(f"❌ 元素 '{original_value}' 请求失败: {str(e)}")
        return None

第二步：遍历处理每个元素，分离成功/失败结果 #

放弃np.vectorize，改用df.iterrows()逐个处理每个URL和对应的x元素，这样可以单独捕获每个元素的错误，同时收集成功的表格和失败的元素：

# 原始数据
x = ['~', 'Walter', 'A', 'Sun']
df = pd.DataFrame(x, columns=['x'])
base_url = "https://en.wikipedia.org/wiki/"
df['URL'] = base_url + df['x']

# 初始化容器
successful_tables = []
failed_x = []

# 逐个处理
for _, row in df.iterrows():
    table = get_wiki_table(row['URL'], row['x'])
    if table is not None:
        successful_tables.append(table)
    else:
        failed_x.append(row['x'])

# 合并成功的表格
if successful_tables:
    combined_result = pd.concat(successful_tables, ignore_index=True)
    print("\n✅ 合并后的成功表格预览：")
    print(combined_result.head())
else:
    print("\n⚠️ 没有成功获取到任何表格")

# 输出出错的元素
print("\n❌ 导致错误的元素列表：")
print(failed_x)

为什么不用np.vectorize？ #

np.vectorize看起来是向量化操作，但本质上还是底层循环，而且它没有内置的异常处理机制——只要有一个元素出错，整个向量操作就会直接崩溃，没法做到“忽略错误继续处理其他元素”。显式循环虽然看起来“不优雅”，但在需要异常控制和追踪的场景下，灵活性高得多。

额外优化点 #

• 可以给pd.read_html加上flavor='bs4'参数（需要提前安装beautifulsoup4），提升表格解析的稳定性；
• 如果需要更详细的错误日志，可以把错误信息写入文件，而不是只打印到控制台；
• 可以给请求加上超时时间，比如requests.get(url, timeout=10)，避免长时间等待。

内容的提问来源于stack exchange，提问作者reservoirinvest