用 Scrapy 抓取慕课网全部免费课程：从分页采集到 MySQL 入库
这篇文章把一个抓取慕课网免费课程的 Scrapy 示例，整理成可直接复用的完整流程：从按课程类型翻页抓取，到进入详情页补齐难度、时长、评分，再通过接口拿到学习人数，最后异步写入 MySQL。代码事实、命令和表结构均保留，方便对照落地。
08-25
197
这篇文章把一个抓取慕课网免费课程的 Scrapy 示例，整理成可直接复用的完整流程：从按课程类型翻页抓取，到进入详情页补齐难度、时长、评分，再通过接口拿到学习人数，最后异步写入 MySQL。代码事实、命令和表结构均保留，方便对照落地。
在当前主流 Cloudflare 防护下，`cloudscraper` 往往会卡在 `/cdn-cgi/challenge-platform/`，最终返回 `403/503`。问题不在于“请求没发出去”，而是新版 JS 挑战依赖 `WebAssembly`、时间校验和浏览器指纹，Node.js 模拟环境很难通过。能稳定跑通的方向，已经转向复用真实 Chromium 实例并尽量贴近人工访问行为。
这篇文章把 Debian 上搭建 Python 爬虫的基础流程拆成可直接照做的几个环节：检查 Python、补齐 pip、创建虚拟环境、安装常用库、编写并运行示例程序，同时补上爬取礼仪和数据存储建议，适合刚开始在 Linux 环境里动手的人。
一份结构清晰、注重实操的Python爬取网页详细教程，涵盖环境搭建、HTTP请求发送、HTML解析、数据持久化存储与异常处理等完整步骤与代码实例。
本文分析Python爬虫中使用多进程生产者-消费者模式时，因未正确调用join()导致消费者进程过早终止的问题。通过对比错误与正确的代码结构，指出必须等待生产者完成并调用消费者join()，同时需向队列发送结束标志，确保所有任务被处理完毕。
本文详解Python中IndexError: list index out of range错误的成因与解决方案。当XPath定位不到数据导致列表为空时，直接索引会触发此异常。通过引入try-except异常捕获机制，可将未定位到的元素赋值为None，从而避免程序崩溃，确保爬虫脚本稳定运行。
本文详细介绍Python爬虫框架Newspaper的安装、基本用法及高级功能。通过单条新闻获取、缓存机制配置及多任务爬取等实例，展示其核心能力。同时指出该框架在中文环境下可能存在的识别BUG，并提供结合requests与bs4的替代建议，帮助开发者更高效地实现内容抓取。
本文介绍在Python爬虫中获取非唯一指定内容的方法。当XPath无法直接定位目标时，可通过遍历节点并结合条件判断进行筛选。文章提供基于urllib和lxml的完整代码示例，展示如何构建请求、解析HTML并过滤关键词，同时指出原代码存在冗余问题，旨在为开发者提供清晰的筛选逻辑参考。
本文详细介绍Python爬虫中如何使用Beautiful Soup模块快速定位网页元素。涵盖模块安装、基础用法、四大核心对象（BeautifulSoup、Tag、NavigableString、Comment）解析，以及find与find_all方法的参数详解与实战代码示例，帮助初学者掌握高效的数据提取技巧。
本文介绍Python中grequests模块的使用方法与适用场景。grequests基于requests和gevent实现异步并发请求，支持GET、POST等多种HTTP方法，常用于爬虫IP代理池验证及压力测试。文章提供基础用法、自定义返回结果修改源码示例以及事件钩子配置代码，帮助开发者高效处理批量网络请求。
面向初学者的Python静态网页爬虫教程，系统讲解Requests网络请求与BeautifulSoup解析库的配合使用，包含环境安装、选择器提取、完整实战代码与常见问题排查。
本文详细介绍Python爬虫中requests库的安装方法及GET与POST请求的具体使用。涵盖通过pip或源码安装requests，演示如何构造带参数的GET请求、获取JSON数据、处理二进制文件下载，以及利用data和files参数进行POST请求和文件上传。同时解析响应状态码、异常抛出及JSON转换技巧，帮助开发者高效完成HTTP交互。
