Python Selenium Headless Chrome 网页抓取实战指南

清欢

发布时间：2026-10-13 | 3人浏览过

原创

本文详细介绍如何在Python中利用Selenium配合Headless Chrome进行网页内容抓取。文章涵盖Chrome及Chrome Driver的安装配置，解决国内源安装问题，并提供完整的Python代码示例，包括无头模式启动、页面加载超时设置及元素提取方法，适用于Linux环境下的自动化数据采集场景。

Selenium与Headless Chrome环境配置

在进行Python爬虫开发时，Selenium是首选工具之一。鉴于PhantomJS因内部原因已停止更新，最新版本的Selenium已采用Headless Chrome替代PhantomJS。因此，建议将Selenium升级至最新版本，并配合Headless Chrome使用。

在开始编码前，需完成以下准备工作：

安装Chrome浏览器、Chrome Driver以及Selenium库。

安装Chrome浏览器

第一步：安装Chrome浏览器

配置YUM下载源，在目录/etc/yum.repos.d/下新建文件google-chrome.repo。


> cd /ect/yum.repos.d/
> vim google-chrome.repo

编辑google-chrome.repo文件，填入以下内容后保存并退出：


[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

执行安装Google Chrome浏览器的命令：


> yum -y install google-chrome-stable

注意：由于Google官方源在中国大陆可能无法访问，导致安装失败或无法更新，可添加以下参数强制安装：


> yum -y install google-chrome-stable --nogpgcheck

通过上述步骤，即可成功安装Google Chrome。

安装Chrome Driver

第二步：安装Chrome Driver

查看已安装的Chrome版本号，根据该版本下载对应的Chrome Driver。下载完成后，将驱动文件放置于/usr/local/bin目录中。

安装Selenium库

第三步：安装Selenium库


> pip install selenium

Python代码实现示例

完成上述环境配置后，即可开始编写Python代码。


from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options


options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('lang=zh_CN.UTF-8')

# 在linux上需要添加一下两个参数
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

browser = Chrome(chrome_options=options)
browser.set_page_load_timeout(30)
browser.set_script_timeout(30)
browser.get(url)

# 获取返回内容
print browser.page_source

# 查找元素
print browser.find_element_by_tag_name('pre').text

补充说明：若访问某些详情页存在Cookie验证机制，可先访问主页，再访问详情页。WebDriver会自动携带并传递Cookie信息。

本文介绍了Python使用Selenium结合Headless Chrome获取网页内容的全过程，希望对各位的学习有所帮助。欢迎持续关注本站获取更多技术分享。