自定义函数中For循环未执行，返回空DataFrame问题排查

我查了大量类似问题仍无法解决，特此求助。我编写了一个包含For循环的自定义函数，用于遍历下载CSV文件并将它们追加合并为一个DataFrame。通过打印语句排查后发现，函数仅输出1、2、3，循环完全未执行，返回的DataFrame为空。但将相同逻辑放在函数外部运行时却一切正常，请问这是什么原因？

代码示例 #

# LoadPackages
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import pandas as pd

# ==================================================    download spp tie flows
# set directories
directory = r"E:/Data/sophie/line vision/sources/spp public/downloaded/"
driverPath = r"/Users/sophi/Downloads/chromedriver_win32/chromedriver.exe"

# define urls
page_url = "https://marketplace.spp.org/pages/historical-tie-flow"
prefix_download_url = ("https://marketplace.spp.org/file-browser-api/download/" +
                       "historical-tie-flow?path=%2F")

xpath = "//*[@id='main-content']/div/div/div[2]/div/div[3]/div/ul/li/a/span[@class='fname name' and contains(text(), '2021')]"

driver = webdriver.Chrome(ChromeDriverManager().install())

def download_and_append(page_url, prefix_download_url, xpath) :
    
    driver.get(page_url)
    print(1)
    
    # create empty dataframe to append to
    df = pd.DataFrame()
    print(2)
    
    # retrieve data from page
    elements = driver.find_elements(By.XPATH, xpath)
    print(3)
    
    for element in elements:
        
        index = element.text.split()[0]
        print(index)
        data = pd.read_csv(prefix_download_url + index)
        print(4)
        
        # clean dataframe and concatenate to df
        df = pd.concat([df, data])
        print(5)
        
    return df

hourly_tie_flows_2021 = download_and_append(page_url, prefix_download_url, xpath)
hourly_tie_flows_2021

# ========================================================== export data

hourly_tie_flows_2021.to_csv(directory + "/spp_tie_flows_by_ba_2021.csv")

原因分析与解决办法 #

核心原因：页面未完全加载就执行元素查找 #

函数内调用driver.get(page_url)后，页面还未完成动态渲染就立刻执行find_elements，导致无法找到目标元素，elements为空列表，循环自然不会触发。而在函数外部运行时，代码执行间隔或手动等待时间足够，页面已加载完毕，因此能正常找到元素。

解决办法：添加显式等待 #

使用Selenium的WebDriverWait等待目标元素出现后再进行查找，确保页面渲染完成：

# 需要额外导入以下模块
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def download_and_append(page_url, prefix_download_url, xpath) :
    driver.get(page_url)
    print(1)
    
    df = pd.DataFrame()
    print(2)
    
    # 显式等待目标元素加载，最长等待10秒
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, xpath))
    )
    
    elements = driver.find_elements(By.XPATH, xpath)
    print(3)
    print(f"找到元素数量：{len(elements)}")  # 新增打印，确认是否找到元素
    
    for element in elements:
        index = element.text.split()[0]
        print(index)
        data = pd.read_csv(prefix_download_url + index)
        print(4)
        
        df = pd.concat([df, data])
        print(5)
        
    return df

额外排查建议 #

• 打印len(elements)的值，确认是否真的未找到元素；
• 检查xpath是否准确，部分动态页面的元素结构可能在加载过程中变化；
• 确认页面没有弹窗、遮罩层等阻塞元素查找的内容。

内容的提问来源于stack exchange，提问作者Sophie