这门课解决什么问题
很多学习者写爬虫停留在能跑就交差的阶段,但一旦遇到反爬检测就卡壳、遇到高并发请求就服务器崩溃、遇到动态渲染页面只能手动复制数据,问题就暴露无遗。这门课重点解决的是工程化能力不足的痛点,从浏览器原理一路讲到分布式调度,专门补你缺的那块短板。它不是教你用现成工具抓包完事,而是系统性地讲解怎么稳定抓取、怎么扛住压力、怎么自动化绕过常见检测机制,让你从只会调接口变成能做完整爬虫项目的人。
适合什么基础以及学习顺序
这门课适合有基本编程概念的学习者,不需要精通,但至少要能看懂代码逻辑。建议的学习路径要严格按照顺序来,跳过任何环节都会在后续卡住。第一步先把 html 基础、css 基础、JavaScript 基础三节完整过一遍,这一步很多人想跳过,但后面遇到动态渲染和 hook 调试时就会彻底懵掉,所以缺什么补什么,认真把基础打牢。紧接着看浏览器调试技巧,学会用 Network 面板抓请求、用 Elements 面板看 DOM 结构、用 Console 面板调试 JavaScript,这是所有后续内容的底座。然后再进入核心部分:数据存储(二)讲清楚持久化方案选型,高性能爬虫(一)(二)讲并发策略与反爬应对方法。之后 selenium 自动化工具从入门到进阶共四节,覆盖真实渲染场景下的自动化操作。最后用 scrapy 和 feapder 框架把之前学的串起来,scrapy-redis 框架是加分项,适合需要规模化爬取的场景。
学完能独立做什么以及资料用法
资料包里的每一段视频都对应可运行的 demo,不要只看不动手。建议按照这个节奏:看完一节视频后,打开对应的 demo 跑一遍,然后改一个参数重跑观察变化,最后尝试自己加一个反爬检测点。数据存储那节务必亲手搭一次本地数据库,高性能爬虫那节尝试把并发数从 1 调到 50 观察性能变化,selenium 部分一定要自己写一个绕过简单验证的脚本。scrapy 框架系列可以跟着搭一个完整的管道处理流程,feapder 那两节对比着看,理解不同框架的设计取舍。练习做完了,你至少能独立写出一个带反爬应对、持久化存储、并发调度的中等规模爬虫项目,面对实际的抓包需求时不再慌张。
课程目录
TL爬虫12期/ 1. html基础-2023-8-1-顾安.mp4 950.42M 10 数据存储(二)-2023-08-22-顾安.mp4 967.84M 11.高性能爬虫-1-2023-8-24-顾安.mp4 1011.80M 12.高性能爬虫二-20238-27-顾安.mp4 857.57M 13.selenium自动化工具的使用-2023-8-29-顾安.mp4 908.09M 14.selenium自动化工具的使用-2-2023-8-31-顾安.mp4 908.38M 15 selenium自动化工具的使用(二)-2023-09-03-顾安.mp4 783.44M 16.selenium自动化工具的使用-三-2023-9-5-顾安.mp4 787.29M 17 ip代理池搭建-2023-9-7-顾安.mp4 1018.16M 18.scrapy框架学习-2023-9-10-顾安.mp4 814.62M 19scrapy框架学习-2023-9-12-顾安.mp4 885.05M 2.css基础-2023-8-03-顾安.mp4 604.75M 20.scrapy框架学习-3-2023-9-14-顾安.mp4 974.69M 21 scrapy框架-4-2023-09-17-顾安.mp4 876.18M 22 feapder框架-2023-09-19-顾安.mp4 925.70M 23 feapder框架-2-2023-09-21-顾安.mp4 889.39M 24 scrapy-redis框架-2023-09-26-柏汌.mp4 1.31G 25.JavaScript基础课-2023-10-16-夏洛.mp4 924.99M 26.浏览器调试技巧-2023-10-18-夏洛.mp4 1.06G 27.hook调试和中间件-2023-10-20-夏洛.mp4 1.07G 28.JavaScript调用和扣代码-2023-10-23-夏洛.mp4 1015.18M 29.掌握JavaScript执行JS方法-2023-10-25-夏洛.mp4 956.06M 3 JavaScript基础-2023-8-06-顾安.mp4 915.01M 30国标哈希算法-2023-10-27-夏洛.mp4 925.34M 31 hamc算法和des加密算法-2023-10-30-柏汌.mp4 1.33G 32 AES和魔改算法-2023-11-01-柏汌.mp4 1.30G 33.非对称加密算法-2023-11-03-柏汌.mp4 1.21G 34 webpack专题-2023-11-06-柏汌.mp4 1.02G 39.RPC技术-2023-11-17-柏汌.mp4 1.49G 4.jquery基础-2023-8-08-顾安 (2).mp4 886.14M 41.补环境-02-2023-11-22-柏汌.mp4 1.07G 42.补环境-03-2023-11-24-柏汌.mp4 1.15G 43.COOKIE反爬-1-2023-11-27-柏汌.mp4 1.85G 44.cookie反爬-2-2023-11-29-柏汌.mp4 1.48G 45.cookie反爬-3-2023-12-01-柏汌.mp4 1.35G 46.cookie反爬-4-2023-12-06-柏汌.mp4 1.43G 47.验证码专题-1-2023-12-08-柏汌.mp4 1.27G 48 验证码专题-2-2023-12-11-柏汌.mp4 1.41G 49 考试试题讲解-2023-12-18-柏汌.mp4 1.44G 5 爬虫基本知识-2023-08-10-顾安.mp4 895.71M 6 爬虫请求的发送方法-2023-08-13-顾安.mp4 909.41M 7 数据提取方式-1-2023-08-15-顾安.mp4 709.27M 8 数据提取方式-2-2023-08-17-顾安.mp4 958.91M 9 数据存储-1-2023-08-20-顾安.mp4 993.83M 第四十.mp4 1.75G 爬虫解答课02-2023-8-25-柏汌.mp4 1.32G 爬虫解答课03-2023-9-1-柏汌.mp4 941.00M 爬虫解答课04-2023-09-15-柏汌.mp4 1.02G 爬虫解答课05-2023-09-22-柏汌.mp4 1.06G 作业解答课1-2023-08-18-柏汌.mp4 1.18G 11.高性能爬虫-1-2023-8-24-顾安.mp4 1011.80





