Python爬虫：动态页面交互与多窗口切换实战

动态页面交互：模拟鼠标悬停

许多现代网页采用动态加载机制，部分菜单或列表选项仅在鼠标悬停（Hover）时才会显示。对于爬虫而言，直接抓取往往无法获取这些隐藏内容，必须模拟真实的鼠标交互行为。

1. 基础元素定位与输入

首先，我们需要定位到触发交互的元素。Selenium提供了多种定位方式，如通过类名、链接文本或ID查找元素。若需模拟键盘输入（如回车键），可结合Keys模块：

from selenium.webdriver.common.keys import Keys

# 定位元素并输入内容
driver.find_element_by_class_name('input-box').send_keys('搜索关键词')

# 模拟回车键提交
# driver.find_element_by_class_name('input-box').send_keys(Keys.ENTER)

2. 使用ActionChains实现悬停

对于需要悬停才能显示的列表，需使用ActionChains类构建鼠标操作链。核心步骤包括：获取目标元素、将鼠标移动至该元素、执行操作链。

from selenium.webdriver.common.action_chains import ActionChains

# 初始化ActionChains
chain = ActionChains(driver)

# 定位悬停目标元素
hover_element = driver.find_element_by_xpath("//div[@class='search-condition c5 drop-down']/a/div")

# 执行悬停操作
chain.move_to_element(hover_element).perform()

# 悬停后，列表显示，此时可点击具体选项
driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()

注意：若页面结构复杂，可能需要多次点击特定列表项（如li[2]），请根据实际DOM结构调整XPath。

窗口大小对页面布局的影响

部分网站会根据浏览器窗口大小动态调整页面布局。例如，全屏模式下显示三列内容，而小窗口仅显示第一列。这会导致爬虫在后台运行时抓取不到完整数据。

解决方案：在初始化浏览器或执行关键操作前，强制最大化窗口。

import time

# 最大化浏览器窗口
driver.maximize_window()
time.sleep(1)  # 等待页面重绘

# 此时再执行点击操作，可确保获取到完整列的内容
driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()

多窗口切换：处理新弹出页面

点击某些链接或按钮时，网页会在新标签页或新窗口中打开。爬虫默认仍停留在原窗口，需手动切换至新窗口才能继续抓取。

1. 获取所有窗口句柄

通过driver.window_handles获取当前所有打开窗口的句柄列表。

2. 遍历并切换窗口

通常，新弹出的窗口句柄位于列表末尾。我们可以通过遍历所有句柄，比较current_url来定位目标窗口，或使用索引直接切换。

# 获取所有窗口句柄
handles = driver.window_handles

# 切换到最新打开的窗口（通常是最后一个）
driver.switch_to.window(handles[-1])

# 或者遍历所有窗口，通过URL判断
for handle in handles:
    driver.switch_to.window(handle)
    print(f'Current URL: {driver.current_url}')
    # 可根据current_url判断是否为目标页面
    if 'target_page' in driver.current_url:
        break

其他常用鼠标操作

除了悬停，Selenium还支持丰富的鼠标交互，适用于更复杂的页面操作：

• click()：单击元素。
• double_click()：双击元素。
• context_click()：右键单击。
• drag_and_drop(source, target)：拖拽元素。
• click_and_hold(element)：按下鼠标左键不释放。
• move_by_offset(x, y)：移动鼠标指定偏移量。
• key_down(Keys.CONTROL)与key_up()：模拟按键组合。

总结

处理动态网页爬虫时，关键在于模拟真实用户行为。通过ActionChains解决悬停显示问题，通过maximize_window()规避布局差异，再通过window_handles切换窗口，即可覆盖大部分动态交互场景。实际开发中，请根据具体网页结构调整XPath或CSS选择器。

以上就是Python爬虫解决动态页面悬停与多窗口切换问题的详细内容，更多关于Python爬虫Selenium技术实战的资料请关注本站其它相关文章！