如果你已经能写 requests + BeautifulSoup 抓几个静态页面，却在一遇到翻页、登录、增量更新、多机并行时就卡住，那这门课补的正是这段缺口。它不讲 Python 语法入门，也不铺一遍 HTTP 基础，而是直接把 Scrapy 当成一件工程工具来拆：一个爬虫项目从能跑，到能稳定跑、能分布式跑，中间到底差哪些零件。

先确认你缺的是哪一块

Scrapy 的坑很少出在"不会写 spider"，而是出在几个具体的断点上，你可以对照一下：

能写出 parse 方法，但一旦要分层跟进详情页、翻页、去重，代码就写成了一团回调嵌套，调度逻辑全靠 if 判断；
知道有中间件和管道，但说不清 Request 从引擎出发到下载器、再回到 spider 这一圈里，哪一步该拦、哪一步该改；
单机跑得挺好，数据量一上来就要分机器，但不知道去重队列该放哪、多个进程怎么不打架；
抓下来的数据字段忽多忽少、编码偶尔乱掉、断点重跑时整批重来。

这门课的内容组织基本是沿着这条线走的：先让 Scrapy 的组件各归其位，再拿一个真实的问答类站点把抓取流程走通，最后进到 scrapy-redis 处理分布式调度。问答站点那部分的价值不在于"抓到了什么"，而在于它同时具备列表页、详情页、分页和较规整的字段结构，拿来练调度和抽取刚好。

几个必须想清楚的问题

看这门课时，建议带着下面这些问题，而不是被动跟着敲：

Scrapy 的调度器、去重指纹、下载器中间件、Item Pipeline 各自负责什么，数据在它们之间怎么流动？
start_urls 之外，什么时候该自己构造 Request，callback 和 meta 该怎么用才不至于把上下文丢失？
选择器该写在 spider 里还是抽成独立方法？字段缺失时是丢弃 Item 还是给默认值？
下载延迟、并发数、自动限速这几个参数相互怎么牵制，调高并发为什么反而更容易被封？
scrapy-redis 替换掉的到底是 Scrapy 的哪几个组件，为什么换成 Redis 队列之后多台机器就能共享任务？
分布式之后，去重还准不准？某个 worker 挂了，它手上的任务会怎样？

这些问题没有一个是靠背 API 能答出来的，都得回到"数据流经哪里"这个层面去想。课程里分布式那一章之所以要单独拎出来，就是因为它是从单机思维切到多机思维的分水岭——同一份 spider 代码，换个调度器和去重后端，行为就完全不同了。

配套练习怎么用

问答站点那一章的素材适合分三轮练。第一轮照原样把流程跑通，确认每个组件都生效；第二轮故意改坏一处，比如把 Pipeline 的优先级调乱、把下载延迟设成 0，观察现象再改回来；第三轮自己加一个字段或加一层翻页，看现有结构撑不撑得住。分布式那一章则建议至少起两个 worker 进程，亲眼看一下任务是怎么被分走的、Redis 里那几个 key 长什么样。

需要提醒的是，抓取任何站点之前先看它的 robots 与使用条款，控制频率、别给目标站添麻烦，这是这类练习里比代码本身更该养成的习惯。

看完你应该能回答

一个 Scrapy 项目里，哪些部分是可复用的、哪些必须针对目标站点重写？
面对一个需要翻页并抓取详情的中等规模站点，你的 spider 结构会怎么分？
从单机到分布式，改动集中在哪几处，哪些代码可以原样不动？
如果抓取中途中断，你会怎样让下一次运行接着上次继续，而不重复入库？

能把这四个问题讲明白，这门课对你就不只是"看过"，而是真的补上了一块。

聚焦Python分布式爬虫必学框架Scrapy - 打造搜索引擎

Scrapy框架深度解析，打造高效搜索引擎

编辑点评

系统学习Scrapy框架，掌握分布式爬虫技术，适合搜索引擎开发者和数据分析师。

⭐ 编辑推荐

深入解析Scrapy框架，从基础知识到高级应用，助你构建高效搜索引擎。

课程亮点

• Scrapy框架深度解析

• 分布式爬虫技术

• 搜索引擎开发实战

课程目录

📁 第5章 scrapy爬去知名问答网站
    📁 5
        5资料.png  [493.5 KB]
        17.mp4  [16.8 MB]
        爬虫第五章1-5.mp4  [120.3 MB]
        6-16.mp4  [397.1 MB]
    第5章 scrapy爬去知名问答网站文档.zip  [1.8 MB]
📁 第9章 scrapy-redis分布式爬虫
    第9章 scrapy-redis分布式爬虫必看.png  [493.5 KB]
    9-3.mp4  [87.9 MB]
    9-5.12.mp4  [25.3 MB]
    9-4+scrapy-redis编写分布式爬虫代码.avi  [106.3 MB]
    9-6.mp4  [26.0 MB]
    9-2.mp4  [18.6 MB]
    9-7.mp4  [41.9 MB]
    9-1分布式爬虫要点.mp4  [8.6 MB]
📁 第3章 爬虫基础知识回顾
    📁 3
        3必看.zip  [1.8 MB]
        第三章3-4节.mp4  [37.5 MB]
        新增--3章-深度优先.mp4  [61.8 MB]
        第三章6-5节  从15.15开始看，在回看.mp4  [56.6 MB]
        第三章1-2节.mp4  [44.7 MB]
    第3章 爬虫基础知识回顾文档.zip  [1.8 MB]
📁 第10章 elasticsearch搜索引擎的使用
    第10章 elasticsearch搜索引擎的使用文档.zip  [1.8 MB]
    10-12.mp4  [53.2 MB]
    10-2安装.mp4  [31.9 MB]
    10-3.mp4  [50.6 MB]
    10-11.mp4  [32.6 MB]
    9.32.mp4  [65.5 MB]
    10-8.mp4  [25.0 MB]
    4selenium集成到scrapy.mp4  [108.9 MB]
    10-1 elasticsearch介绍.mp4  [23.1 MB]
    10-6.mp4  [31.1 MB]
    11 scrapy扩展开发.mp4  [81.9 MB]
    7 scrapy url 去重原理.mp4  [35.5 MB]
    10-4.mp4  [12.0 MB]
    8  scripy telnet.mp4  [22.2 MB]
    6scrapy的暂停和重启.mp4  [50.6 MB]
    10-10.mp4  [23.1 MB]
    10.mp4  [55.2 MB]
    1selenium动态网页与请求.mp4  [91.2 MB]
    10-7.mp4  [14.1 MB]
    2selenium模拟登陆微博.mp4  [65.7 MB]
    10-9.mp4  [25.7 MB]
    5其余动态网页获取介绍.59.mp4  [45.4 MB]
    10-5倒排索引.mp4  [11.2 MB]
    2017.05.06-09.29.24.mp4  [63.1 MB]
    3chromedriver不加载图片.mp4  [47.9 MB]
📁 第6章 通过CrawlSpider对招聘网站进行整站爬取
    📁 6
        6说明.zip  [1.8 MB]
        1-4.mp4  [219.9 MB]
        5-7以及第七章第一节.mp4  [107.4 MB]
    第6章 通过CrawlSpider对招聘网站进行整站爬取文档.zip  [1.8 MB]
📁 第12章 scrapyd部署scrapy爬虫
    第12章 scrapyd部署scrapy爬虫必看.png  [493.5 KB]
    12章.mp4  [56.5 MB]
📁 第8章 scrapy进阶开发
    2selenium模拟登陆微博.mp4  [65.8 MB]
    8-6+scrapy的暂停与重启.avi  [64.7 MB]
    1selenium动态网页与请求.mp4  [87.4 MB]
    7 scrapy url 去重原理.mp4  [35.5 MB]
    8-12+scrapy扩展开发.avi  [85.8 MB]
    4selenium集成到scrapy.mp4  [108.9 MB]
    8  scripy telnet.mp4  [21.8 MB]
    5其余动态网页获取介绍.59.mp4  [45.4 MB]
    10.mp4  [55.2 MB]
    8-9+spider+middleware+详解.avi  [88.7 MB]
    9.32.mp4  [65.5 MB]
    3chromedriver不加载图片.mp4  [47.9 MB]
📁 第十一
    11-3.mp4  [66.7 MB]
    11-7.mp4  [41.8 MB]
    11-6.10.mp4  [92.6 MB]
    11-4.mp4  [45.3 MB]
    11-2.mp4  [61.2 MB]
    11-5.mp4  [51.1 MB]
    11-1 es完成搜索建议.mp4  [27.5 MB]
    11-9+搜索记录、热门搜索功能实现+-+2.avi  [70.3 MB]
    11-8+搜索记录、热门搜索功能实现+-+1.avi  [76.1 MB]
📁 第2章 windows下搭建开发环境
    2-1 pycharm的安装和简单使用.mp4  [12.2 MB]
    2-4 虚拟环境的安装和配置.mp4  [39.7 MB]
    2-3 windows和linux下安装python2和python3.mp4  [8.6 MB]
    2-2 mysql和navicat的安装和使用.mp4  [17.3 MB]
📁 第1章 课程介绍
    📁 1
        1必看.zip  [1.8 MB]
        第一章.mp4  [25.4 MB]
    第1章 课程介绍文档.zip  [1.8 MB]
    1-1 python分布式爬虫打造搜索引擎简介.avi  [7.3 MB]
📁 第7章 Scrapy突破反爬虫的限制
    📁 7
        第七章2-10.mp4  [234.7 MB]
📁 第4章 scrapy爬取知名技术文章网站
    📁 4
        4文档.png  [493.5 KB]
        4-4 5.mp4  [480.7 MB]
        4-6 7.mp4  [357.3 MB]
        4-8 9.mp4  [365.4 MB]
        16.mp4  [42.0 MB]
        17.mp4  [40.2 MB]
        第四章7-15.mp4  [326.8 MB]
        1-3.mp4  [185.1 MB]
📁 第13章 课程总结
    2017.05.06-15.19.51.mp4  [5.3 MB]
爬虫源码.zip  [1.0 MB]
爬虫讲师源代码.zip  [1.2 MB]