很多人学爬虫卡在同一个地方：打开浏览器能看到的数据，写代码抓就是拿不到。GET 请求照猫画虎能跑通，一遇到登录、翻页、表单提交就歇菜——因为那些数据根本不是靠 URL 参数传的，而是 POST 出去的。这门课把落点放在 POST 上，适合已经能写几行 Python、却在"为什么抓不到"这一步反复撞墙的人。

先确认你缺的是不是这块

如果你目前的状态是：能看懂 requests.get() 的写法，但说不清 POST 和 GET 在请求体上的区别；用浏览器 F12 抓到过接口，却不知道哪些字段必须带、哪些可以删；碰到需要先登录再取数据的站点，只会手动复制 Cookie 贴进代码——那这门课补的正是这个缺口。它不带你从"什么是变量"讲起，Python 部分只覆盖列表、字典、逻辑结构、包的使用这些写爬虫绕不开的基础，剩下的篇幅都给了请求本身。

反过来说，如果你连 Python 的循环和函数都还没写过，建议先把语法过一遍再来，否则前半段会显得赶。

POST 到底难在哪

GET 把参数挂在 URL 上，肉眼可见；POST 把数据放在请求体里，表单编码、JSON 编码、Content-Type 对不对，都会直接决定服务器认不认。课程从 requests 的基础方法切入，重点在构造请求体、设置请求头、处理返回结果这几步。学完你应该能回答：同一个接口，为什么浏览器能返回数据，我的请求返回的是登录页？表单数据和 JSON 数据在代码里分别怎么传？请求头里哪几项是必须伪造的，哪几项可有可无？

另一个容易被忽略的点是会话。登录后拿到的 Cookie 怎么在后续请求里保持，用 Session 对象和手动拼 header 有什么区别，这些不搞清楚，翻页到第二页就掉登录。

工具不是越多越好，而是知道什么时候换

requests 能解决大部分接口型抓取，但页面数据由 JavaScript 渲染出来时，它拿到的 HTML 里什么都没有。这时候才轮到 selenium 出场——用浏览器把页面跑起来，等数据出现再取。课程把 selenium 自动化放在这条线上讲，逻辑是"requests 搞不定才上浏览器"，而不是一上来就重型工具。

再往上，当你要抓的页面成百上千、还要去重和断点续爬，手写循环就撑不住了，Scrapy 框架的价值在这里体现。学完这部分，你至少能判断：当前这个任务，用 requests 就够，还是必须上 selenium，还是该直接写个 Scrapy 项目。

练习该怎么配合

每学完一种请求方式，自己找一个公开的、允许抓取的站点，用 F12 找到它的 POST 接口，把字段一个个删掉试，看哪些删了会失败——这比背参数有用。
拿一个需要登录的站点练会话保持，重点观察 Cookie 在请求之间的变化。
同一个页面分别用 requests 和 selenium 各抓一次，对比拿到的内容差异，亲身体会渲染和源码的区别。
把一个小任务用 Scrapy 重写一遍，感受框架替你处理了哪些重复劳动。

看完应能回答的问题

合上课程，如果下面这几个问题你能直接说清楚，说明这门课没白看：POST 请求体和 URL 参数在服务端看来有什么不同？一次登录后的会话，靠什么在后续请求里延续？页面右键"查看源代码"和 F12 里 Elements 面板的内容对不上，问题出在哪、该换什么工具？什么时候值得引入 Scrapy，而不是老老实实写循环？

爬虫的边界和合规问题也得心里有数：抓取前看清 robots 协议和站点条款，控制频率别给对方添麻烦，涉及个人数据的别碰。技术能跑通不等于可以随便跑，这条线课程里未必展开，但你自己得拎得清。

小肩膀零基础Python POST网页爬虫

从零开始，掌握Python网页爬虫核心技能

编辑点评

系统讲解Python爬虫原理，实战项目丰富，适合初学者快速入门。

⭐ 编辑推荐

本课程深入浅出地讲解Python网页爬虫技术，涵盖requests、selenium、Scrapy等工具，通过实战项目提升爬虫能力。

课程亮点

• Python爬虫原理

• requests库应用

• selenium自动化

• Scrapy框架实战

课程目录

📁 视频
    视频资料.png  [493.5 KB]
    34.selenium过豆瓣滑块.mp4  [84.2 MB]
    14requests基础方法(上).mp4  [198.2 MB]
    12.Python和JSON交互.mp4  [122.3 MB]
    10.文本操作和二进制存储.mp4  [59.7 MB]
    4.Python列表.mp4  [18.6 MB]
    20.Xpath语法解析页面.mp4  [130.8 MB]
    25.酷狗音乐爬取实战.mp4  [61.8 MB]
    38.Python多进程(生产者消费者模型).mp4  [120.9 MB]
    8.包的概念和使用.mp4  [41.9 MB]
    55.12306单图片多物品训练识别.mp4  [139.3 MB]
    1.课程介绍.mp4  [35.3 MB]
    23.新浪财经文本爬取实战.mp4  [177.0 MB]
    18.HTTP协议.mp4  [121.2 MB]
    35.selenium无头浏览器与过反检测.mp4  [49.7 MB]
    26.某视频网站爬取实战.mp4  [182.9 MB]
    50.微博登陆JS算法.mp4  [59.3 MB]
    39.Python异步编程.mp4  [66.4 MB]
    5.Python字典.mp4  [18.4 MB]
    16.robots检测插件编写.mp4  [106.5 MB]
    44.爬虫实战-知乎热榜.mp4  [145.4 MB]
    15.requests高级方法(下).mp4  [78.1 MB]
    40.爬虫实战-无广告版百度搜索.mp4  [87.3 MB]
    27.Scrapy初探.mp4  [247.0 MB]
    54.英数汉字验证码训练识别.mp4  [74.9 MB]
    6.Python逻辑结构操作.mp4  [41.9 MB]
    29.Scrapy下载中间件钩子.mp4  [191.5 MB]
    30.Scrapy蜘蛛中间件钩子.mp4  [210.8 MB]
    49.QQ音乐sign.mp4  [85.6 MB]
    42.爬虫实战-天眼查.mp4  [109.5 MB]
    52.Python调用易语言DLL.mp4  [79.9 MB]
    21.Python中的正则表达式(上).mp4  [147.4 MB]
    17.用户延迟访问插件编写.mp4  [38.4 MB]
    46.爬虫实战-京东商品+评论爬取.mp4  [377.5 MB]
    19.BeautifulSoup解析页面.mp4  [211.1 MB]
    22.Python中的正则表达式(下).mp4  [216.2 MB]
    2.开发环境配置.mp4  [35.0 MB]
    48.淘宝爬虫之数据爬取.mp4  [169.8 MB]
    37.Python多线程.mp4  [77.6 MB]
    45.爬虫实战-快代理构建代理池.mp4  [62.7 MB]
    24.千图网图片爬取实战.mp4  [131.1 MB]
    28.Scrapy体系架构数据流.mp4  [122.1 MB]
    33.selenium的文档API.mp4  [128.4 MB]
    7.面向过程面向对象和栈的实现.mp4  [57.5 MB]
    43.爬虫实战-东方财富股票数据.mp4  [121.7 MB]
    9.数据清洗与编码解码.mp4  [108.6 MB]
    41.爬虫实战-百度贴吧.mp4  [102.4 MB]
    32.selenium入门.mp4  [83.5 MB]
    56.雪球网数据爬取.mp4  [148.6 MB]
    13.爬虫原理和常见反爬虫手段27.48.mp4  [233.6 MB]
    51.selenium过腾讯滑块.mp4  [94.8 MB]
    3.Python字符串.mp4  [35.8 MB]
    11.csv文件格式操作.mp4  [75.6 MB]
    31.Scrapy实战豆瓣读书爬取.mp4  [116.4 MB]
    47.淘宝爬虫之模拟登录.mp4  [81.1 MB]
    53.CC框架介绍.mp4  [158.4 MB]
    36.GIL全局解释器锁介绍.mp4  [56.4 MB]