Python爬虫新手入门:环境搭建与第一个抓取程序
面向新手的Python爬虫入门指南,详细讲解Python爬虫环境搭建、依赖库安装、网络请求与数据解析全流程,附带完整的第一个抓取程序示例与常见问题排查方案。
编写Python网络爬虫的核心目标,是通过编写自动化脚本向目标服务器发出网络请求,获取网页源代码,并从中筛选解析出有价值的数据。要完成这个目标,新手只需要完成三项具体任务:在本地搭建好标准的Python运行与隔离环境、安装专门处理网络请求与HTML解析的核心库,以及编写一个遵循基础规范的网页抓取脚本。
一、认识网络爬虫的基本工作流程
网络爬虫本质上是一个模拟浏览器行为的自动化程序。当我们在浏览器中输入网址并敲击回车时,浏览器会向网站服务器发送一次HTTP请求;服务器接收到请求后,返回网页的HTML源代码,浏览器随后负责将其渲染成可视化的图文界面。爬虫程序所做的,正是省去人工点击和视觉渲染的过程,直接获取服务器返回的文本数据,并按规则提取目标字段。
在这个过程中,爬虫的工作重心可以拆解为两个阶段:
- 网络通信阶段:使用代码模拟合法的HTTP客户端请求,获得目标网站服务器的稳定响应。
- 信息提取阶段:将获取到的HTML文档转换为结构化对象,通过标签名、类名或层级定位并提取目标数据。
二、搭建基础开发环境
编写爬虫前,需要保证本地计算机已安装Python解释器,并建立独立的虚拟工作环境。为避免与系统全局库发生依赖冲突,推荐为每个爬虫项目单独创建虚拟环境。
1. 确认 Python 解释器版本
打开系统终端(Windows系统为命令提示符或PowerShell,macOS/Linux系统为Terminal),输入以下命令检查Python版本:
python --version
Python 3.10.12
如果输出的系统主版本号为 3.8 或更高版本,即可满足绝大多数主流爬虫库的要求。如果提示找不到命令,请先前往 Python 官方网站安装最新稳定版,并在安装向导中勾选“Add Python to PATH”选项。
2. 创建并激活项目虚拟环境
在你的本地磁盘中建立一个用于存放爬虫代码的专用目录(例如 crawler_demo),进入该目录后创建独立的虚拟环境:
mkdir crawler_demo
cd crawler_demo
python -m venv .venv
根据操作系统类型,运行对应的激活脚本:
- Windows (PowerShell):
.venv\Scripts\Activate.ps1 - Windows (CMD):
.venv\Scripts\activate.bat - macOS / Linux:
source .venv/bin/activate
当命令行提示符前面出现 (.venv) 标识时,说明虚拟环境已成功激活。
3. 安装基础网络与解析库
编写爬虫至少需要两个库:负责HTTP请求的 requests,以及负责HTML文本解析的 beautifulsoup4。在激活的虚拟环境中运行:
pip install requests beautifulsoup4
pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple
4. 验证依赖安装
输入以下单行命令测试库是否可用:
python -c "import requests; import bs4; print('Environment Ready!')"
Environment Ready!
若屏幕输出 Environment Ready! 且无任何报错信息,说明基础环境配置完毕。
三、编写第一个抓取程序
接下来我们编写一个完整、可运行的Python抓取脚本。我们以公开的开源练习网站 https://quotes.toscrape.com/ 为抓取目标,该网站专门用于爬虫初学者学习和练习提取页面中的名言和作者信息。
1. 编写抓取代码
在项目根目录下新建名为 first_crawler.py 的文件,写入以下完整代码:
import requests
from bs4 import BeautifulSoup
def fetch_quotes():
# 1. 明确目标网址
url = "https://quotes.toscrape.com/"
# 2. 设置请求头,标明标准浏览器标识
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
try:
# 3. 发送GET请求并设置超时时间(单位:秒)
response = requests.get(url, headers=headers, timeout=10)
# 4. 检查HTTP响应状态码,若非200则抛出异常
response.raise_for_status()
# 5. 确保编码正确,避免中文或特殊字符乱码
response.encoding = response.apparent_encoding
# 6. 使用 html.parser 解析页面源码
soup = BeautifulSoup(response.text, "html.parser")
# 7. 根据网页DOM特征,查找所有包裹名言的 div 容器
quote_elements = soup.find_all("div", class_="quote")
print(f"成功获取页面,共找到 {len(quote_elements)} 条名言:\n")
# 8. 遍历每个容器,提取正文与作者
for idx, item in enumerate(quote_elements, start=1):
text_elem = item.find("span", class_="text")
author_elem = item.find("small", class_="author")
quote_text = text_elem.get_text(strip=True) if text_elem else "无内容"
author_name = author_elem.get_text(strip=True) if author_elem else "未知"
print(f"[{idx}] {quote_text}")
print(f" —— 作者: {author_name}\n")
except requests.exceptions.RequestException as e:
print(f"网络请求失败,错误详情: {e}")
if __name__ == "__main__":
fetch_quotes()
2. 执行脚本并查看输出
在终端中直接运行该脚本:
python first_crawler.py
成功获取页面,共找到 10 条名言:
[1] “The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”
—— 作者: Albert Einstein
[2] “It is our choices, Harry, that show what we truly are, far more than our abilities.”
—— 作者: J.K. Rowling
[3] “There are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.”
—— 作者: Albert Einstein
...
3. 代码关键节点拆解
- User-Agent 请求头:如果不加请求头,
requests默认携带的标识是python-requests/x.x.x,许多网站的防护规则会直接拦截该标识并返回 403 Forbidden 错误。显式添加浏览器标识是网络爬虫最基础的操作规范。 - timeout 超时限制:网络请求可能会遭遇目标服务器响应缓慢或路由阻塞,设定
timeout=10能保证在10秒未响应时主动抛出异常,防止程序无休止挂起。 - DOM选择器对应:在浏览器中按下 F12 键打开开发者工具,使用“Elements”面板查看页面结构。通过观察发现每句名言都位于
<div class="quote">容器内,其中名言文本包裹在<span class="text">中,作者名字包裹在<small class="author">中。BeautifulSoup的find_all与find方法直接依据这些类名实现精准定位。
四、新手常见问题与排查思路
初学者在刚开始编写和运行爬虫时,经常会遇到以下几类典型报错:
1. 返回 403 Forbidden 状态码
表现与原因:终端输出 HTTP 状态码 403,表示服务器拒绝了访问。这通常是因为目标网站识别出了默认的 Python 爬虫请求头,或者请求频率过快被防刷机制拦截。
解决方法:检查代码中的 headers 字典,确保包含完整的 User-Agent 键值;若仍受限,可尝试补充 Accept-Language 与 Referer 字段。
2. 抓取到的字段为空(NoneType 报错)
表现与原因:代码运行到 text_elem.get_text() 时抛出 AttributeError: 'NoneType' object has no attribute 'get_text',说明 find() 没有找到匹配的标签节点。
排查方法:首先打印 response.text 查看实际下载到的HTML源码,确认目标数据是否存在于源码中。有些现代网站的数据是通过前端 JavaScript 异步接口(AJAX/API)加载的,单纯获取初始 HTML 文档并不包含这些数据。
3. 中文输出显示为乱码
原因:requests 自动推断的网页编码与网页实际使用的编码(如 UTF-8 与 GBK)不一致。
解决方法:在解析文本前,加入 response.encoding = response.apparent_encoding,让库依据页面二进制内容自动校准编码。
五、知识结构与合规准则总结
掌握了环境搭建与第一个抓取程序后,你就建立起了网络爬虫的核心认知骨架。在后续的学习与实践中,需要时刻牢记规范与合规底线。
完成以上步骤后,你已经成功运行了第一个完整的网页抓取程序。接下来可以进一步探索多页面自动翻页、抓取结果持久化存储为 CSV 或 JSON 文件,以及针对动态加载页面的抓取方案。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













