用 Scrapy 抓取慕课网全部免费课程：从分页采集到 MySQL 入库
这篇文章把一个抓取慕课网免费课程的 Scrapy 示例，整理成可直接复用的完整流程：从按课程类型翻页抓取，到进入详情页补齐难度、时长、评分，再通过接口拿到学习人数，最后异步写入 MySQL。代码事实、命令和表结构均保留，方便对照落地。
08-25
199
这篇文章把一个抓取慕课网免费课程的 Scrapy 示例，整理成可直接复用的完整流程：从按课程类型翻页抓取，到进入详情页补齐难度、时长、评分，再通过接口拿到学习人数，最后异步写入 MySQL。代码事实、命令和表结构均保留，方便对照落地。
本文详解Scrapy实现模拟登录的两种核心方式：一是直接携带Cookie发起请求，适用于Cookie有效期较长的场景；二是通过发送Post请求获取Cookie，分别介绍scrapy.FormRequest手动构造表单与scrapy.FormRequest.from_response()自动填充表单的方法。结合GitHub登录示例代码，解析如何验证登录状态及处理动态表单字段，帮助开发者高效解决需要登录才能访问的页面爬取问题。
本文系统梳理Python爬虫工程师面试中的核心问题，涵盖if __name__机制、Python内存管理（引用计数与垃圾回收）、对象拷贝差异、异常处理、常用爬虫库对比及反爬应对方案。深入解析Django与Flask选型、多线程异步优化、POST/GET区别及Lambda表达式，为求职者提供实用的技术参考。
对比Python爬虫常见的Requests、Scrapy与PySpider，从学习成本、并发抓取、任务调度、数据处理、项目维护和适用场景等方面说明区别，并给出不同爬虫项目的选择方法。
本文详细介绍Scrapy框架中代理中间件的使用与自定义方法。涵盖HttpProxyMiddleware的默认配置、通过Request meta参数设置代理、抓取快代理IP并验证可用性，以及继承HttpProxyMiddleware和直接编写中间件类两种自定义实现方案，帮助开发者解决IP被封或访问受限问题。
本文解决在Mac系统（如OSX 10.11及更高版本）中安装Python爬虫框架Scrapy时遇到的“Operation not permitted”错误。该问题通常由旧版Python（如2.7）与新系统权限机制冲突导致，通过升级Python版本即可有效解决。
本教程详细讲解如何使用Python Scrapy与Redis构建高可用、大规模的分布式网络爬虫项目，涵盖架构原理、环境搭建、代码编写、节点部署及监控运维。
本文详细介绍如何使用Scrapy框架将爬取数据导出为Excel格式。通过定义Item实体类、配置CsvItemExporter以及注册Pipeline，实现数据的结构化存储。文章涵盖环境要求、核心代码实现及爬虫运行步骤，帮助开发者快速掌握Scrapy数据导出功能。
本文分析Scrapy中使用Chrome开发者工具生成的XPath在爬虫中失效的问题。根本原因在于浏览器自动插入tbody标签，而原始HTML结构中可能不存在该标签。通过对比Chrome生成的含tbody XPath与Scrapy实际解析结果，发现需手动移除xpath中的tbody节点。文章提供了使用scrapy shell逐步定位问题的方法，并给出修正后的正确XPath示例，帮助开发者避免此类常见坑点。
本文深入解析Python中五种常见的爬虫框架，包括成熟的Scrapy、高效的Crawley、可视化的Portia、轻量级的Newspaper以及文章提取工具Python-goose。详细对比各框架的功能特点、适用场景及技术优势，帮助开发者根据需求选择合适的爬虫解决方案。
本文详细解析 Scrapy 中 settings.py 的关键配置项。涵盖字符编码设置、Redis 连接参数（含密码与数据库指定）、请求超时与重试机制优化，以及基于 scrapy-redis 的去重组件、调度器和持久化断点续爬功能的配置方法。通过调整 DUPEFILTER_CLASS、SCHEDULER 及 SCHEDULER_QUEUE_CLASS 等参数，实现高效分布式爬虫与数据持久化存储。
本文详细解析使用Python Scrapy框架进行多页数据爬取的实现过程。通过定义通用URL模板，在parse方法中利用递归逻辑手动发送后续页码的请求，从而实现对多页内容的自动抓取与解析。
