Python爬取豆瓣电影Top100实战：从请求到存储

沈亦白

发布时间：2026-10-15 | 4人浏览过

原创

本文详细介绍如何使用Python爬取豆瓣电影Top100的数据。通过Requests库模拟浏览器请求，利用BeautifulSoup解析HTML结构提取电影信息，并采用CSV模块将结果持久化存储。文章涵盖网页规律分析、Headers设置、Robots协议检查及数据清洗存储等关键步骤，适合Python初学者学习网络爬虫基础。

网站爬取的流程图如下所示：

完成本项目需要掌握以下核心技术点：

一、获取网页 1. 分析目标网页的URL规律； 2. 利用 for 循环语句生成网站前4页的完整链接； 3. 通过浏览器 Network 选项卡获取必要的 Headers 信息； 4. 调用 requests.get() 函数，携带 Headers 发起网页请求。

二、解析网页 1. 使用 BeautifulSoup 库对网页源码进行解析； 2. 利用 BeautifulSoup 对象调用 find_all() 方法，定位包含单部电影完整信息的 HTML 标签； 3. 通过 Tag.text 属性提取电影的序号、名称、评分及推荐语； 4. 使用 Tag['属性名'] 语法提取电影详情页链接。

三、存储数据 1. 使用 with open() as … 语法创建用于写入内容的 csv 文件； 2. 利用 csv.DictWriter() 将文件对象转换为 DictWriter 对象； 3. 通过参数 fieldnames 设定 csv 文件的表头字段； 4. 调用 writeheader() 方法写入表头信息； 5. 使用 writerows() 方法将提取的数据内容写入 csv 文件。

实现代码：

import csvimport requestsfrom bs4 import BeautifulSoup# 设置列表，用以存储每部电影的信息data_list = []# 设置请求头headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'}# 使用 for 循环遍历取值范围为 0~3 的数据for page_number in range(4):    # 设置要请求的网页链接    url = 'https://movie.douban.com/top250?start={}&filter='.format(page_number * 25)    # 请求网页    movies_list_res = requests.get(url, headers=headers)    # 解析请求到的网页内容    bs = BeautifulSoup(movies_list_res.text, 'html.parser')    # 搜索网页中所有包含单部电影全部信息的 Tag    movies_list = bs.find_all('div', class_='item')    # 使用 for 循环遍历搜索结果    for movie in movies_list:        # 提取电影的序号        movie_num = movie.find('em').text        # 提取电影名        movie_name = movie.find('span').text        # 提取电影的评分        movie_score = movie.find("span",class_='rating_num').text        # 提取电影的推荐语        movie_instruction = movie.find("span",class_='inq').text        # 提取电影的链接        movie_link = movie.find('a')['href']        # 将信息添加到字典中        movie_dict = {            '序号': movie_num,            '电影名': movie_name,            '评分': movie_score,            '推荐语': movie_instruction,            '链接': movie_link        }        # 打印电影的信息        print(movie_dict)        # 存储每部电影的信息        data_list.append(movie_dict)# 新建 csv 文件，用以存储电影信息with open('movies.csv', 'w', encoding='utf-8-sig') as f:    # 将文件对象转换成 DictWriter 对象    f_csv = csv.DictWriter(f, fieldnames=['序号', '电影名', '评分', '推荐语', '链接'])    # 写入表头与数据    f_csv.writeheader()    f_csv.writerows(data_list)