爬虫实战:把网页内容整理成数据

爬虫实战:把网页内容整理成数据

网页上能看到的内容,怎样整理成可用的数据?从请求页面、定位字段到翻页采集,逐步理解爬虫的工作流程,并掌握动态页面处理、失败重试与数据去重方法。

阅读6
37篇内容
发布时间2026-10-16

Python与Matlab数据互通及SciPy核心模块详解

本文详解Python与Matlab数据互通技巧,重点介绍SciPy库中scipy.io模块的savemat函数用法。同时系统梳理SciPy核心子模块,包括integrate数值积分、optimize优化器、interpolate插值及linalg线性代数模块,提供具体代码示例与参数说明,助力Python科学计算与数据分析。

Python与Matlab数据互通及SciPy核心模块详解

Scrapy中XPath匹配失效:tbody标签导致的常见陷阱与修复

本文分析Scrapy中使用Chrome开发者工具生成的XPath在爬虫中失效的问题。根本原因在于浏览器自动插入tbody标签,而原始HTML结构中可能不存在该标签。通过对比Chrome生成的含tbody XPath与Scrapy实际解析结果,发现需手动移除xpath中的tbody节点。文章提供了使用scrapy shell逐步定位问题的方法,并给出修正后的正确XPath示例,帮助开发者避免此类常见坑点。

Scrapy中XPath匹配失效:tbody标签导致的常见陷阱与修复

pandas中df.groupby()方法深入讲解

本文详细解析pandas中df.groupby()方法的用法。涵盖单列与多列分组、groupby对象特性,以及describe、value_counts、sum、mean、max等常用统计函数的应用。通过具体代码示例,展示如何对数值列和离散列进行组内统计,帮助读者掌握数据分组处理的核心技巧。

pandas中df.groupby()方法深入讲解

Python Pandas 读写 CSV 文件完整指南

本文详细介绍如何使用 Python Pandas 库高效读取和写入 CSV 文件。涵盖基础读取方法、索引设置、日期解析、列名自定义以及数据导出等核心操作,通过具体代码示例展示 read_csv 和 to_csv 函数的关键参数用法,帮助开发者快速掌握 CSV 数据处理技巧。

Python Pandas 读写 CSV 文件完整指南
加载更多

专题列表