这门课解决什么问题

很多学习者写爬虫停留在能跑就交差的阶段,但一旦遇到反爬检测就卡壳、遇到高并发请求就服务器崩溃、遇到动态渲染页面只能手动复制数据,问题就暴露无遗。这门课重点解决的是工程化能力不足的痛点,从浏览器原理一路讲到分布式调度,专门补你缺的那块短板。它不是教你用现成工具抓包完事,而是系统性地讲解怎么稳定抓取、怎么扛住压力、怎么自动化绕过常见检测机制,让你从只会调接口变成能做完整爬虫项目的人。

适合什么基础以及学习顺序

这门课适合有基本编程概念的学习者,不需要精通,但至少要能看懂代码逻辑。建议的学习路径要严格按照顺序来,跳过任何环节都会在后续卡住。第一步先把 html 基础、css 基础、JavaScript 基础三节完整过一遍,这一步很多人想跳过,但后面遇到动态渲染和 hook 调试时就会彻底懵掉,所以缺什么补什么,认真把基础打牢。紧接着看浏览器调试技巧,学会用 Network 面板抓请求、用 Elements 面板看 DOM 结构、用 Console 面板调试 JavaScript,这是所有后续内容的底座。然后再进入核心部分:数据存储(二)讲清楚持久化方案选型,高性能爬虫(一)(二)讲并发策略与反爬应对方法。之后 selenium 自动化工具从入门到进阶共四节,覆盖真实渲染场景下的自动化操作。最后用 scrapy 和 feapder 框架把之前学的串起来,scrapy-redis 框架是加分项,适合需要规模化爬取的场景。

学完能独立做什么以及资料用法

资料包里的每一段视频都对应可运行的 demo,不要只看不动手。建议按照这个节奏:看完一节视频后,打开对应的 demo 跑一遍,然后改一个参数重跑观察变化,最后尝试自己加一个反爬检测点。数据存储那节务必亲手搭一次本地数据库,高性能爬虫那节尝试把并发数从 1 调到 50 观察性能变化,selenium 部分一定要自己写一个绕过简单验证的脚本。scrapy 框架系列可以跟着搭一个完整的管道处理流程,feapder 那两节对比着看,理解不同框架的设计取舍。练习做完了,你至少能独立写出一个带反爬应对、持久化存储、并发调度的中等规模爬虫项目,面对实际的抓包需求时不再慌张。

课程目录

TL爬虫12期/
1. html基础-2023-8-1-顾安.mp4 950.42M
10 数据存储(二)-2023-08-22-顾安.mp4 967.84M
11.高性能爬虫-1-2023-8-24-顾安.mp4 1011.80M
12.高性能爬虫二-20238-27-顾安.mp4 857.57M
13.selenium自动化工具的使用-2023-8-29-顾安.mp4 908.09M
14.selenium自动化工具的使用-2-2023-8-31-顾安.mp4 908.38M
15 selenium自动化工具的使用(二)-2023-09-03-顾安.mp4 783.44M
16.selenium自动化工具的使用-三-2023-9-5-顾安.mp4 787.29M
17 ip代理池搭建-2023-9-7-顾安.mp4 1018.16M
18.scrapy框架学习-2023-9-10-顾安.mp4 814.62M
19scrapy框架学习-2023-9-12-顾安.mp4 885.05M
2.css基础-2023-8-03-顾安.mp4 604.75M
20.scrapy框架学习-3-2023-9-14-顾安.mp4 974.69M
21 scrapy框架-4-2023-09-17-顾安.mp4 876.18M
22 feapder框架-2023-09-19-顾安.mp4 925.70M
23 feapder框架-2-2023-09-21-顾安.mp4 889.39M
24 scrapy-redis框架-2023-09-26-柏汌.mp4 1.31G
25.JavaScript基础课-2023-10-16-夏洛.mp4 924.99M
26.浏览器调试技巧-2023-10-18-夏洛.mp4 1.06G
27.hook调试和中间件-2023-10-20-夏洛.mp4 1.07G
28.JavaScript调用和扣代码-2023-10-23-夏洛.mp4 1015.18M
29.掌握JavaScript执行JS方法-2023-10-25-夏洛.mp4 956.06M
3 JavaScript基础-2023-8-06-顾安.mp4 915.01M
30国标哈希算法-2023-10-27-夏洛.mp4 925.34M
31 hamc算法和des加密算法-2023-10-30-柏汌.mp4 1.33G
32 AES和魔改算法-2023-11-01-柏汌.mp4 1.30G
33.非对称加密算法-2023-11-03-柏汌.mp4 1.21G
34 webpack专题-2023-11-06-柏汌.mp4 1.02G
39.RPC技术-2023-11-17-柏汌.mp4 1.49G
4.jquery基础-2023-8-08-顾安 (2).mp4 886.14M
41.补环境-02-2023-11-22-柏汌.mp4 1.07G
42.补环境-03-2023-11-24-柏汌.mp4 1.15G
43.COOKIE反爬-1-2023-11-27-柏汌.mp4 1.85G
44.cookie反爬-2-2023-11-29-柏汌.mp4 1.48G
45.cookie反爬-3-2023-12-01-柏汌.mp4 1.35G
46.cookie反爬-4-2023-12-06-柏汌.mp4 1.43G
47.验证码专题-1-2023-12-08-柏汌.mp4 1.27G
48 验证码专题-2-2023-12-11-柏汌.mp4 1.41G
49 考试试题讲解-2023-12-18-柏汌.mp4 1.44G
5 爬虫基本知识-2023-08-10-顾安.mp4 895.71M
6 爬虫请求的发送方法-2023-08-13-顾安.mp4 909.41M
7 数据提取方式-1-2023-08-15-顾安.mp4 709.27M
8 数据提取方式-2-2023-08-17-顾安.mp4 958.91M
9 数据存储-1-2023-08-20-顾安.mp4 993.83M
第四十.mp4 1.75G
爬虫解答课02-2023-8-25-柏汌.mp4 1.32G
爬虫解答课03-2023-9-1-柏汌.mp4 941.00M
爬虫解答课04-2023-09-15-柏汌.mp4 1.02G
爬虫解答课05-2023-09-22-柏汌.mp4 1.06G
作业解答课1-2023-08-18-柏汌.mp4 1.18G
11.高性能爬虫-1-2023-8-24-顾安.mp4 1011.80