这门课在补什么能力缺口

大模型应用开发已经从“调 API”进入了“本地可控、私有化部署”的深水区。很多开发者会写 Prompt,但遇到长文本截断、情感分类不准、模型体积太大跑不动、或者想把 Qwen/LLaMA 导出成 GGUF 这种工程细节时,往往卡住。这套课程的核心价值,就是把这些离 API 调用更近的底层能力补齐:怎么基于 BERT 做中文评价情感分析、怎么处理超长文本、怎么用 LLaMA-Factory 做 LoRA 微调与合并、怎么把模型量化并部署到远程 GPU 服务器。它解决的不是“什么是大模型”的概念问题,而是“我拿开源基座模型怎么改、怎么训、怎么跑”的工程落地问题。

适合什么基础、建议先看哪几块

适合已经熟悉 Python 编程、了解 Hugging Face 基本用法、但对模型微调全流程没有亲手跑通过一次的开发者。如果你之前只用过 LangChain 调用现成接口,现在想深入模型本身,这里是很好的切入点。

建议学习顺序:

  • 先打通基础:第 2 讲 Embedding/Vector 是理解 RAG 的前提;第 3~4 讲 Hugging Face 核心组件要熟悉,这是后续所有操作的工具底座。
  • 再上手微调:第 5 讲中文情感分析是典型的有监督微调场景,代码量适中,容易验证效果;第 8 讲 GPT2 中文生成模型定制是生成任务的入门,逻辑清晰。
  • 进阶工程:第 10~12 讲 LLaMA3 本地调用与 LoRA 微调合并,是当下主流开源模型的实战路径;第 13~14 讲 LLaMA-Factory 的评估与 QLoRA,解决显存不足时的低资源微调痛点。
  • 最后部署闭环:第 15~16 讲 Qwen 模型打包、LoRA 合并转 GGUF 并部署,完成从训练到推理的最后一公里。

跳过基础直接看微调,容易在环境配置和数据结构上踩坑;跳过后面的部署环节,则无法独立完成一个可运行的私有模型服务。

学完能做什么、资料怎么配合

完成课程后,你应该能独立回答:如何用自有中文语料微调一个分类或生成模型?如何在有限显存下用 QLoRA 训 LLaMA 系列模型?如何把微调后的权重合并并转为 GGUF 格式用于本地推理?如何连接远程 GPU 服务器进行训练和部署?

资料包中的视频配合课件使用效果更佳。课件通常包含关键代码片段和参数说明,视频则是讲解思路和调试过程。建议边看视频边在本地或远程 GPU 环境里复现代码,特别是第 7 讲处理超长文本、第 15 讲模型转换这些容易出错的环节,一定要亲手跑一遍,否则很难记住那些隐含的配置细节。不要只看不练,这套课的知识密度在于“踩坑经验”,只有自己在微调过程中遇到过 OOM、量化后精度下降,才能真正掌握这些技巧。

课程介绍

QQ_1756995294945.png 2025-9-4 22:15 上传 1_开班典礼-241216 2_RAG-Embedding-Vector 3_LangChain day04_Hugging Face 核心组件介绍 day05_基于 BERT 的中文评价情感分析 day06_自定义vocab day07_如何处理超长文本训练问题 day08_GPT2-中文生成模型定制化微调训练 day09_远程GPU服务器 day10_llama3大模型本地调用 day11_Llama3.2模型微调 day12_Lora模型合并与推理测试 day13_LLaMA-Factory模型导出量化 day14_LLaMA-Factory模型评估与QLora微调 day15_Qwen模型打包部署(Lora模型合并&转GGUF模型部署) day16_Qwen模型打包

课程目录

QQ_1756995294945.png   2025-9-4 22:15 上传 1_开班典礼-241216 2_RAG-Embedding-Vector 3_LangChain day04_Hugging Face 核心组件介绍 day05_基于 BERT 的中文评价情感分析 day06_自定义vocab day07_如何处理超长文本训练问题 day08_GPT2-中文生成模型定制化微调训练 day09_远程GPU服务器 day10_llama3大模型本地调用 day11_Llama3.2模型微调 day12_Lora模型合并与推理测试 day13_LLaMA-Factory模型导出量化 day14_LLaMA-Factory模型评估与QLora微调 day15_Qwen模型打包部署(Lora模型合并&转GGUF模型部署) day16_Qwen模型打包部署(HF转GGUF&ollama+open_webui部署) day17_Xtuner微调大模型 day18_LMDeploy部署大模型 day19_OpenCompass大模型评估 day20_llama-index核心组件 day21_llama-index入门实操 day22_llama-index实现RAG day23_AutoGen_Studio搭建多智能体应用 day24_多模态大模型 day25_deep-seek与多卡训练 day26_基于本地大模型的AI试题系统(方案篇) day27_基于本地大模型的AI试题系统(实现篇) day28_基于RAG的法律条文智能助手(方案篇) day29_基于RAG的法律条文助手(实现篇) day30_基于pytorch的语音唤醒系统