攻克反爬与分布式调度：从零构建高可用爬虫系统

本课程的核心价值在于填补了“会写单脚本”到“能构建生产级采集系统”之间的能力缺口。很多学习者在使用 requests 爬取少量数据时没有问题，但一旦面对需要处理登录态、代理 IP 池、SSL 证书校验以及海量数据并发抓取的复杂场景，便束手无策。本课程正是针对这一痛点，从底层 HTTP 协议原理讲起，逐步深入到 Scrapy 框架与 Redis 集群的协同工作，帮助学习者掌握如何构建稳定、高效且具备容错能力的分布式爬虫架构，这是后端开发中数据获取环节的关键技能。

前置基础与最佳学习路径

学习本课程的前提是必须熟练掌握 Python 基础语法，特别是字典、列表推导式及面向对象编程，同时对 requests 库的基本使用有一定了解。建议按照以下顺序推进：首先，不要跳过第一章的爬虫前奏，务必透彻理解 HTTP 请求方法、状态码及 Header 的含义，这是后续解决反爬问题的理论基础；其次，重点攻克第三章的数据解析部分，熟练掌握 XPath 和 CSS 选择器，这是提取目标数据的必备手艺；最后，进入实战环节时，先独立完成“拉勾网职位信息抓取”和“Cookie 模拟登录”等单点突破练习，确保理解请求拦截机制，再逐步过渡到分布式架构的实现。切忌急躁，每一步的代码都需亲手调试运行。

学完产出与资料配合指南

完成全部课程学习并跟练代码后，你应当能够独立回答以下问题：如何设计一个支持多机协同的爬虫调度系统？如何在代码层面处理复杂的动态渲染页面和加密参数？如何利用中间件统一管理和轮换代理 IP？在实操层面，你将具备从零搭建一个企业级分布式爬虫项目的完整能力，包括环境配置、数据管道搭建及异常监控。关于资料包的使用，请勿将其视为仅用于对照的视频素材，而应作为实战题库。建议在观看每个章节的视频后，立即关闭视频，根据逻辑自行编写对应功能的代码模块，遇到报错再回看演示；特别是对于正则表达式和数据解析部分，务必动手复现所有案例，确保在没有提示的情况下也能快速写出正确的匹配规则，从而真正将知识内化为自己的工程能力。

课程目录

章节1-爬虫前奏
001.爬虫前奏_什么是网络爬虫.mp4 73.13M
002.爬虫前奏_HTTP协议介绍.mp4 125.67M
003.爬虫前奏_抓包工具的使用网络请求.mp4 110.82M
章节2-网络请求
10实战-爬虫自动登录访问授权页面.mp4 90.09M
11cookie信息的加载与保存.mp4 38.65M
12requests库的基本使用.mp4 61.50M
13requests发送post请求.mp4 36.90M
14requests使用代理ip.mp4 47.34M
15requests处理cookie信息.mp4 27.88M
16requests处理不信任的ssl证书.mp4 6.28M
1_urlopen函数用法.mp4 37.69M
2_urlretrieve函数用法.mp4 18.17M
3_参数编码和解码函数.mp4 36.06M
4urlparse和urlsplit函数用法.mp4 33.48M
5实战-用Request爬取拉勾网职位信息.mp4 95.08M
6作业-内涵段子爬虫作业.mp4 61.06M
7ProxyHandler实现代理ip.mp4 39.34M
8cookie原理和格式详解.mp4 39.34M
9实战-爬虫使用cookie模拟登录.mp4 53.28M
章节3-数据解析
10作业-腾讯招聘网爬虫作业.mp4 26.20M
11bs4库的基本介绍.mp4 28.83M
12bs4库的基本使用.mp4 26.51M
13bs4库提取数据详解.mp4 124.60M
14css常用选择器介绍.mp4 57.65M
15select和css选择器提取元素.mp4 43.37M
16bs4库拾遗.mp4 87.30M
17实战-中国天气网爬虫之页面分析.mp4 66.24M
18实战-中国天气网爬虫之华北城市数据爬取.mp4 84.94M
19实战-中国天气网爬虫之所有城市数据爬取.mp4 103.11M
1xpath介绍和工具安装.mp4 32.93M
20实战-中国天气网爬虫之数据可视化.mp4 67.43M
21单字符匹配规则.mp4 63.57M
22匹配多个字符.mp4 20.73M
23常用匹配小案例.mp4 36.56M
24开始结束和或语法.mp4 50.12M
25转义字符和原生字符串.mp4 32.09M
26group分组.mp4 19.50M
27re模块常用函数.mp4 42.04M
28实战-古诗文网爬虫实战.mp4 133.47M
29作业-糗事百科爬虫作业.mp4 6.67M
2xpath语法详解.mp4 94.20M
3lxml解析html代码和文件.mp4 75.91M
4lxml和xpath结合使用详解.mp4 114.86M
5实战-豆瓣电影爬虫.mp4 107.99M
6实战-电影天堂爬虫之网页分析.mp4 109.85M
7实战-电影天堂爬虫之爬取详情页url.mp4 31.28M
8实战-电影天堂爬虫之解析详情页.mp4 189.02M
9实战-电影天堂爬虫之爬虫完成.mp4 65.04M
章节4-数据储存
10使用代码删除和更新数据.mp4 12.24M
11mongodb数据库的安装.mp4 15.56M
12mongodb数据库启动和连接.mp4 33.03M
13将mongodb制作成服务.mp4 20.92M
14mongodb常用概念介绍.mp4 11.30M
15mongodb的基本操作命令.mp4 18.26M
16python操作mongodb.mp4 37.90M
1json字符串介绍.mp4 10.94M
2dump成json字符串以及编码问题.mp4 30.41M
3load成Python对象.mp4 8.81M
4读取csv文件的两种方式.mp4 52.18M
5写入csv文件的两种方式.mp4 30.22M
6windows下安装MySQL数据库.mp4 25.61M
7使用软件和代码连接数据库.mp4 37.81M
8使用代码插入数据的两种方式.mp4 22.14M
9使用代码查找数据的三种方式.mp4 24.02M
章节5-爬虫进阶
10作业-多线程下载百思不得姐段子爬虫作业.mp4 24.51M
11ajax介绍和爬取ajax数据的两种方式.mp4 95.44M
12selenium+chromedriver安装和入门.mp4 41.95M
13selenium关闭页面和浏览器.mp4 15.85M
14selenium定位元素的方法详解.mp4 45.37M
15selenium操作表单元素.mp4 83.28M
16selenium行为链.mp4 19.91M
17selenium操作cookie.mp4 24.15M
18selenium的隐式等待和显式等待.mp4 39.03M
19selenium打开多窗口和切换窗口.mp4 35.01M
1多线程概念和threading模块介绍.mp4 23.00M