使用BeautifulSoup4抓取表格时随机丢失第8列单元格问题排查

我来帮你拆解下这个随机丢失frequency_rank字段的问题——这大概率是HTML结构的差异导致的，而且和你用contents/children定位单元格的方式直接相关。

为什么本地没问题，线上会随机出错？ #

你本地复制的20页内容，大概率已经被浏览器或编辑器自动格式化过，去除了HTML里多余的空白文本节点（比如换行符、空格）。但真实网站的原始HTML里，<tr>标签的子节点是混合了<td>元素和空白字符串的，这就导致contents的索引会随机偏移：

• 对于结构“干净”的行，trow.contents[7]刚好对应第8个<td>（frequency_rank列）；
• 但如果某一行的<tr>下多了一个空白节点，原本的第8个<td>就会变成contents[8]，这时候你取contents[7]拿到的就是空白字符串，看起来就像“丢失”了这个字段。

修复步骤 #

核心思路是：跳过空白文本节点，直接定位<td>元素，不要依赖contents的索引。

1. 替换所有contents引用为find_all('td')

把代码中通过contents[index]获取单元格的逻辑，改成先提取当前行所有的<td>元素，再按索引取值：

修改前：

char_dict['radical'] = trow.contents[3].text[:1]
char_dict['pinyin'] = trow.contents[1].text
char_dict['definition'] = trow.contents[2].text
char_dict['hsk_level'] = trow.contents[5].text[:1] if trow.contents[5].text[:1].isdigit() else ''
char_dict['frequency_rank'] = trow.contents[7].text if trow.contents[7].text.isdigit() else ''

修改后：

# 先获取当前行所有的td单元格，自动忽略空白文本节点
tds = trow.find_all('td')
char_dict['radical'] = tds[3].text[:1]
char_dict['pinyin'] = tds[1].text
char_dict['definition'] = tds[2].text
char_dict['hsk_level'] = tds[5].text[:1] if tds[5].text[:1].isdigit() else ''
char_dict['frequency_rank'] = tds[7].text if tds[7].text.isdigit() else ''

2. 重构链接提取逻辑

原来通过children遍历计数的方式也容易受空白节点影响，同样改成基于<td>元素提取：

修改前的链接处理部分：

for tcell in trow.children:
    char_position = 0
    radical_position = 3
    if i == char_position or i == radical_position:
        for content in tcell.children:
            if type(content).__name__ == 'Tag':
                if 'href' in content.attrs:
                    url = base_url + content.attrs.get('href')
                    if i == char_position:
                        char_dict['char_url'] = url
                    if i == radical_position:
                        char_dict['radical_url'] = url
    i += 1

修改后：

tds = trow.find_all('td')
# 提取字符详情链接（第一个td）
char_link = tds[0].find('a', href=True)
if char_link:
    char_dict['char_url'] = base_url + char_link['href']
# 提取部首详情链接（第四个td）
radical_link = tds[3].find('a', href=True)
if radical_link:
    char_dict['radical_url'] = base_url + radical_link['href']

3. 可选：增加异常防护

为了避免某些行结构异常（比如缺失单元格）导致程序崩溃，可以加一层简单的异常处理：

try:
    tds = trow.find_all('td')
    if len(tds) < 8:
        print(f"Warning: 行内容不完整，字符 {character} 跳过处理")
        continue
    # 后续字段处理逻辑...
except Exception as e:
    print(f"处理行时出错: {str(e)}")

验证方法 #

你可以打印线上页面的response.text，对比本地页面的HTML，会发现线上的<tr>标签下有大量\n和空格，而本地页面已经被清理掉了——这就是索引偏移的根源。

内容的提问来源于stack exchange，提问作者addohm