Python使用urllib和BeautifulSoup抓取基金网页数据示例

星野

发布时间：2026-10-13 | 5人浏览过

原创

本文演示如何使用Python的urllib库获取基金网站网页内容，并利用BeautifulSoup库解析HTML结构。通过具体代码示例，展示如何读取网页源码、处理编码问题，并提取基金编码、名称及净值等关键信息，供Python开发者参考学习。

Python获取基金网页内容与分析概述

本文介绍利用Python获取基金网站网页内容，并结合BeautifulSoup库分析HTML结构的完整操作流程。以下示例旨在为读者提供实用的代码参考。

使用urllib获取网页内容

首先，利用urllib包获取目标网页的内容。


#引入包
from urllib.request import urlopen
response = urlopen("http://fund.eastmoney.com/fund.html")
html = response.read();
#这个网页编码是gb2312
#print(html.decode("gb2312"))
#把html内容保存到一个文件
with open("1.txt","wb") as f:
  f.write(html.decode("gb2312").encode("utf8"))
  f.close()

利用BeautifulSoup分析HTML结构

接着，使用BeautifulSoup库对获取到的HTML内容进行结构化分析。


from bs4 import BeautifulSoup
# 读取文件内容
with open("1.txt", "rb") as f:
  html = f.read().decode("utf8")
  f.close()
# 分析html内容
soup = BeautifulSoup(html,"html.parser")
# 取出网页title
print(soup.title) #<title>每日开放式基金净值表 _ 天天基金网</title>
# 基金编码
codes = soup.find("table",id="oTable").tbody.find_all("td","bzdm")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "NAV":code.next_sibling.next_sibling.get_text(),
    "ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text()
   },)
# 打印结果
print(result[0]["name"])

Python学习资源推荐

如需了解更多Python相关技巧，可参考本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》。