这门课解决什么问题,你又缺什么
很多做数据处理的朋友,Excel函数和透视表玩得很溜,甚至能写点VBA把多表合并自动化。但一遇到“数据在网页上,需要手动复制粘贴到表格里”的场景,流程就断了。这门课就是来补这个缺口的:用VBA写代码,让Excel直接去互联网上把数据抓回来并填进单元格里。别假装自己什么都会,如果你连GET和POST的区别都说不清,看到浏览器开发者工具里的Network面板就头晕,或者一碰到网页源码里的防盗链设置就抓瞎,那就老老实实从这门课的学前准备看起。它不跟你讲虚的架构,直接针对网页抓取中最常见的几类痛点给出VBA解法。
适合什么基础,建议先看哪几块
学这门课,你得有基础的VBA语法底子,至少知道怎么定义变量、写循环、操作单元格。如果你连VBE编辑器都没打开过,建议先去补基础语法,别直接来啃网抓。对于符合基础的朋友,建议先重点啃透三块内容。第一块是抓包工具的安装与使用,这是你排查网抓问题的眼睛,不会抓包等于盲人摸象。第二块是字符串处理技术,网页源码本质是一大串文本,拆分、查找与替换是你提取目标数据的核心刀法。第三块是Html语法基本知识和网页链接参数,你得知道数据藏在哪个标签里,参数又是怎么传递的。这几块看似枯燥,但直接决定了你后面写代码能不能跑通。
资料怎么配合练习,学完能独立做什么
看视频时千万别光瞪眼看着,必须打开Excel跟着敲代码。课程里演示的案例就是最好的练习素材。看完XmlHttp对象法,自己新建个文件把请求对象实例化跑一遍;看完GET请求抓取搜索结果的案例,自己换个关键词去抓一次,看看数据结构怎么变化的。资料包里的练习一定要自己跑通,遇到报错先自己用Fiddler对比请求头,别急着找答案。这门课学完,你应当能独立完成几件事:能用VBA发起GET和POST请求获取网页源码;能看懂简单的HTML结构并提取指定标签内的文本;能处理带参数的链接,模拟referer防盗链去抓取那些稍微有点反爬门槛的公开页面数据。当你能自己写代码把某个公开网页的表格数据直接拉进Excel时,就算真把这块能力补上了。
课程目录
1-1 [VBA网抓-学前准备] 1.1详细介绍 (09:20) 1-2 [VBA网抓-学前准备] 认识网页抓取 (06:58) 1-3 [VBA网抓-学前准备] Fiddler安装与使用 (06:53) 1-4 [VBA网抓-学前准备] 字符串的拆分、查找与替换 (06:43) 2-1 [VBA网抓-提取网页数据] XmlHttp对象法 (13:05) 2-2 [VBA网抓-提取网页数据] html语法基本知识 (11:31) 2-3 [VBA网抓-提取网页数据] 认识网页链接的参数 (09:29) 2-4 [VBA网抓-提取网页数据] 网抓百度搜索结果列表- GET请求 (27:59) 2-5 [VBA网抓-提取网页数据] 网抓有道翻译结果- POST请求 (13:49) 2-6 [VBA网抓-提取网页数据] 网抓企业公示信息-模拟referer防盗链 (18:12) 2-7 [VBA网抓-提取网页数据] 网抓中行外汇牌价-模拟cookies防盗链 (13:19) 2-8 [VBA网抓-提取网页数据] 对网抓乱码的进行转码 (29:58) 2-9 [VBA网抓-提取网页数据] 避免调用缓存的3种方法 (13:12) 2-10 [VBA网抓-提取网页数据] 使用代理服务器跳过IP访问限制 (03:30) 2-11 [VBA网抓-提取网页数据] 网抓深圳天气预报 (17:08) 3-1 [VBA网抓-处理数据与文件传输] 下载文件 (14:33) 3-2 [VBA网抓-处理数据与文件传输] 处理数据的4种方法-数组法 (26:21) 3-3 [VBA网抓-处理数据与文件传输] 处理数据的4种方法-正则法 (19:36) 3-4 [VBA网抓-处理数据与文件传输] 处理数据的4种方法- QueryTable法 (14:07) 3-5 [VBA网抓-处理数据与文件传输] 处理数据的4种方法- html法 (17:28) 3-6 [VBA网抓-处理数据与文件传输] 认识JSON (14:47) 3-7 [VBA网抓-处理数据与文件传输] 将JS函数和CallByName函数结合使用 (26:08) 3-8 [VBA网抓-处理数据与文件传输] 使用ScriptControl对象的Js脚本语句解析JSON (21:27) 3-9 [VBA网抓-处理数据与文件传输] 直接编写Javascript代码解析JSON (1) (19:59) 3-10 [VBA网抓-处理数据与文件传输] 直接编写Javascript代码解析JSON (2) (17:01) 3-11 [VBA网抓-处理数据与文件传输] 登录与用户管理 (16:14) 3-12 [VBA网抓-处理数据与文件传输] IE对象模型与WebBrowser 控件 (17:02) 3-13 [VBA网抓-处理数据与文件传输] IE控件模拟浏览器用户登录 (13:53) 3-14 [VBA网抓-处理数据与文件传输] IE控件或webbrowser控件网抓实例 (23:55)





