BeautifulSoup CSS选择器返回空对象及POST请求URL问题咨询

一、为什么CSS选择器返回空列表？ #

你这里踩了两个常见的小坑：

1. 用错了方法：BeautifulSoup的find_all()并不支持直接传入完整的CSS选择器字符串当参数！它的第一个参数是标签名，后续是属性筛选条件。要使用CSS选择器语法，得用select()（返回所有匹配元素）或select_one()（返回第一个匹配元素）方法才行。

2. 被浏览器渲染后的HTML误导：你从浏览器复制的选择器里包含了tbody，但很多网站的原始HTML里其实并没有这个标签——<tbody>是浏览器为了规范表格结构自动补加的。而BeautifulSoup解析的是服务器返回的原始HTML，如果原始代码里没有tbody，你的选择器就会因为找不到对应层级而匹配失败。

给你个修正后的示例：

# 去掉多余的tbody，改用select方法
namess = soupe.select(r'body > table > tr:nth-of-type(4) > td > div:nth-of-type(1) > table > tr:nth-of-type(2) > td:nth-of-type(3)')

CSS选择器 vs 手动定位的适用场景 #

• 手动定位（class/属性筛选）：优先选这个！当元素有明确的class、id或其他唯一属性时（比如你用的celldata类），这种方式简洁又稳定。哪怕页面层级小幅度调整，只要类名不变，代码依然能正常跑。
• CSS选择器：适合元素没有专属标识（没class/id），只能靠层级关系定位的场景。但要注意：
  • 必须用select()/select_one()方法
  • 要查看服务器返回的原始HTML（可以用print(r.text)输出），别直接用浏览器开发者工具的选择器（避免被浏览器自动添加的标签干扰）
  • 层级越深，选择器越脆弱，页面结构一变就容易失效

二、为什么POST请求要指向checkMarksSuccess.php？ #

这是网页表单的常规逻辑：

• checkMarks.php是表单展示页面，它的作用只是给用户显示输入框、提交按钮这些UI，本身并不处理你提交的表单数据。
• 你查看页面的<form>标签action属性就能发现，表单的实际提交目标是checkMarksSuccess.php——这个页面才是服务器端负责接收POST数据、验证身份、返回成绩信息的处理页面。

直接POST到checkMarks.php的话，服务器不会处理你的登录请求，返回的页面自然没有成绩内容，所以你的代码会输出"failure"。

修正后的完整代码示例 #

import requests
import bs4

s = requests.Session()
payload = {'id': '15015556', 'dd': '25', 'mm': '09', 'yyyy': '1998'}
# 正确的POST目标页面
r = s.post(r'http://kvpy.iisc.ernet.in/kvpy-1415/checkMarksSuccess.php', data=payload)

if "Name of the Candidate" in r.text:
    soupe = bs4.BeautifulSoup(r.content, "lxml")
    # 手动定位（推荐）
    data_cells = soupe.find_all(class_="celldata")
    # CSS选择器方式（修正后）
    name_cell = soupe.select_one(r'body > table > tr:nth-of-type(4) > td > div:nth-of-type(1) > table > tr:nth-of-type(2) > td:nth-of-type(3)')
    
    print("手动定位的所有数据：")
    for cell in data_cells:
        print(cell.get_text(strip=True))
    
    if name_cell:
        print("\nCSS选择器定位的姓名：", name_cell.get_text(strip=True))
else:
    print("登录失败，请检查账号信息")

内容的提问来源于stack exchange，提问作者Salmaan