使用Python+Selenium爬取JS渲染的网页日期无返回值如何解决

问题原因 #

• 重复初始化浏览器实例：代码中先后调用了两次webdriver.Firefox()，第一个初始化的browser实例完全没有被使用，属于无效代码
• 取值属性错误：<input type="text">标签里的填充内容保存在value属性中，不是普通DOM元素的text文本内容，直接打印p_element.text必然返回空值

修正后的代码 #

from selenium import webdriver
import time

# 只需初始化一次浏览器实例，指定geckodriver路径即可
driver = webdriver.Firefox(executable_path = 'C:/Users//github//geckodriver.exe')
driver.get('http://1.1.1.1:30007')
time.sleep(5)
p_element = driver.find_element_by_id(id_='currentDate')
# 取value属性获取输入框的值
print(p_element.get_attribute('value'))
# 用完记得关闭浏览器释放资源
driver.quit()

可选优化 #

如果不想用强制等待time.sleep()，可以换成显式等待，避免页面没加载完就取值的问题，代码运行效率更高：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Firefox(executable_path = 'C:/Users//github//geckodriver.exe')
driver.get('http://1.1.1.1:30007')
# 最长等待10秒，目标元素加载完成就立即执行下一步
p_element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'currentDate'))
)
print(p_element.get_attribute('value'))
driver.quit()

内容的提问来源于stack exchange，提问作者dzbeda