Python 爬取吉首大学网站成绩单实战教程

雨后青山

发布时间：2026-10-15 | 2人浏览过

原创

本文详细介绍如何使用 Python 爬取吉首大学（JSU）的成绩单数据。教程涵盖环境配置（Python 3.5+、requests、BeautifulSoup4等）、通过浏览器开发者工具获取 Cookie 的方法，以及修改爬虫 URL 和运行 main.py 生成 CSV 文件的完整步骤。附带完整源码解析，帮助开发者快速掌握教务系统数据抓取技巧。

项目源码托管于 GitHub，地址为：

https://github.com/chen0495/pythonCrawlerForJSU

运行环境要求如下：

Python 3.5 或更高版本。
需安装以下 Python 库：requests、BeautifulSoup、numpy、pandas。
若未安装 BeautifulSoup，可通过命令 pip install BeautifulSoup4 进行安装。

配置与使用步骤如下：

首先登录学校的成绩单查询网站，随后需要手动获取并修改代码中的 Cookie 值。

具体获取方法为：在浏览器中按 F12 打开开发者工具，然后按 Ctrl+R 刷新页面，即可在 Network 面板中找到 Cookie 信息，详细操作可见下图：

接着，需要将爬虫代码中的 URL 替换为你个人成绩单的实际查询地址。

最后，运行 src/main.py 文件，程序执行完毕后，生成的 CSV 格式成绩单将保存在 /result 目录下。

以下是抓取结果的展示示例：

完整源代码如下：


# -*- coding: utf-8 -*-
# @Time    : 5/29/2021 2:13 PM
# @Author  : Chen0495
# @Email   : 1346565673@qq.com|chenweiin612@gmail.com
# @File    : main.py
# @Software: PyCharm

import requests as rq
from bs4 import BeautifulSoup as BS
import numpy as np
import pandas as pd

rq.adapters.DEFAULT_RETRIES = 5
s = rq.session()
s.keep_alive = False # 关闭多余连接

header = { # 请更改cookie
    'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4501.0 Safari/537.36 Edg/92.0.891.1',
    'cookie' : 'wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1'
}

# 请更改url
r = rq.get('https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list', headers = header, verify=False)

soup = BS(r.text,'html.parser')

head = []
for th in soup.find_all("th"):
    head.append(th.text)
while '' in head:
    head.remove('')
head.remove('序号')
context = np.array(head)


x = []
flag = 0
for td in soup.find_all("td"):
    if flag!=0 and flag%11!=1:
        x.append(td.text)
    if flag%11==0 and flag!=0:
        context = np.row_stack((context,np.array(x)))
        x.clear()
    flag+=1

context = np.delete(context,0,axis=0)
data = pd.DataFrame(context,columns=head)
print(data)

# 生成文件,亲更改文件名
data.to_csv('../result/result.csv',encoding='utf-8-sig')

以上即为 Python 爬取吉首大学成绩单的完整教程，更多关于 Python 爬虫的资料可关注本站其他文章。