测试工程师的「大模型突围」指南
随着生成式 AI 的普及,传统白盒与黑盒测试的逻辑正在失效——面对大模型不确定的输出,你怎么定义“正确”?这门课解决的正是这个核心痛点:帮助测试工程师从“执行用例的人”转型为“驾驭 AI 的测试架构师”。它不教你训练模型,而是聚焦于如何用 AI 工具提升测试效能,以及如何评估大模型本身的质量。适合有一定手工或自动化测试基础,但对 LLM、RAG、MCP 等技术栈感到陌生,希望补齐技术短板、向 AI 测试专家转型的同学。如果你还停留在只会写固定脚本的阶段,这门课会带你跨过那道门槛。
学习路径与核心能力构建
课程分为筑基、进阶、实战三篇,建议严格按顺序攻克。
基础篇是必经之路:首先要读懂 Attention 机制(第 1 讲),这是理解大模型为何会产生“幻觉”的地基;接着掌握提示词工程(第 2 讲),这是控制模型行为的核心技能;最后学会量化评估指标(第 3 讲),否则你无法判断测试结果是否达标。
进阶篇侧重理论落地:重点攻克 RAG 的分块策略(第 4 讲)和 MCP 协议(第 5 讲)。MCP(Model Context Protocol)是大模型连接外部工具的通用标准,比传统的 Function Call 更灵活、更开放,是后续实现智能化测试的关键底座。
实战篇是重头戏:通过开源 Playwright MCP Server(第 9 讲)实现意图驱动的自动化测试,并动手打造自己的 MCP Server(第 10 讲)。这意味着你不再依赖硬编码的测试脚本,而是让 AI 根据你的自然语言指令,动态生成并执行测试用例,真正实现测试能力的智能化升级。
学完能做什么 & 资料配合建议
完成本课程后,你将具备以下独立工作能力:一是能构建基于 RAG 结合 Text2SQL 的接口测试自动化流程,实现从需求文档到测试数据的自动转换,大幅提升接口测试效率;二是能开发自定义的 MCP Server,为大模型测试场景定制专属的“手脚”,让 AI 具备调用特定工具的能力;三是能使用 Playwright 等工具进行意图驱动的 UI 自动化测试,显著降低脚本维护成本,应对页面频繁变更的挑战。
资料包使用建议:课程配套的资料包含关键代码示例和配置模板。请务必在本地搭建好 Python 运行环境,跟随第 9、10 讲亲手部署 Playwright MCP Server 并进行本地调试。不要只看不练,MCP 的灵活性只有在实际调用中才能深刻体会。遇到模型输出不符合预期或测试用例执行失败的情况,回到基础篇回顾提示词设计和评估指标,调整 prompt 或优化 RAG 分块逻辑,这是测试工程师最核心的迭代闭环能力,也是从普通测试迈向智能测试工程师的必经之路。
课程目录
开篇词 (1讲)
- 开篇词|大模型时代,测试工程师如何突围?
基础篇:筑基大模型,解锁测试潜力 (3讲)
- 01|读懂Attention:测试工程师驾驭LLM的第一步
- 02|写好提示词:精准唤醒大模型测试能力
- 03|精准评估大模型:量化表现的关键指标
进阶篇:理论落地,实践初探 (5讲)
- 04|让RAG更聪明:掌握分块的“核心刀法”
- 05|超越Function Call:MCP为何更胜一筹?
- 06|测试提效20%:需求条目化与RAG实践
- 07|告别手写接口测试:RAG+Text2SQL自动生成
- 08|MCP赋能测试:打造大模型的“智能手脚”
实战篇:手把手落地,智能化测试 (7讲)
- 09|开源的Playwright MCP Server:意图驱动测试自动化革命
- 10|解锁测试新姿势:打造你的MCP Server
- 11|5种Agentic模式赋能自动化测试
- 12|借力打力:大模型生成QA Pairs提升RAG应用测试效率
- 13|Query改写:大模型测试的数据倍增器
- 14|AI赋能测试左移:用大模型下好需求“先手棋”
- 15|从狂热到理性:大模型在测试内部落地的实战复盘
结束语&测试题 (2讲)
- 结束语|拉开大模型和软件测试这场秀的幕
- 结课测试|来赴一场满分之约!






