拒绝 API 调用，掌握开源模型本地化微调真功夫

当前大模型热度虽高，但绝大多数教程止步于调用云端接口，导致开发者无法理解模型内部机制或进行二次开发。本训练营直接切入痛点，解决 LLaMA2、ChatGLM3 等主流开源模型在本地环境中的微调难题。课程不讲空泛原理，而是手把手带你完成从环境搭建、数据清洗、策略选择到最终推理部署的全链路操作。这适合已掌握 Python 基础、熟悉 Linux 命令行且对大模型底层逻辑有强烈探索欲的初学者或转岗人员。

按任务拆解训练路径，从原理到量化落地不迷路

学习顺序严格遵循工程落地逻辑，杜绝跳跃式学习。首先通过实例演示 LLaMA2 的环境配置与常见报错排查，确保你能顺利跑通基础代码。接着深入 LoRA 低秩适配原理，这是目前性价比最高的微调策略。课程将带你针对改写、文本抽取、角色扮演等具体场景制作专用数据集，并执行训练与 Few-shot 推理。随后讲解 int8 量化技术，教你如何在显存受限的显卡上压缩模型。学完这一部分，你应能独立根据业务需求选择合适的微调策略，并产出可实际部署的模型文件。

补齐分布式训练短板，掌握 DeepSpeed 工程化部署

当模型参数量增大或训练数据量增加时，单卡训练将难以为继。课程后半段专门解决这一工程化短板，详细解析 DeepSpeed 分布式训练框架。通过 Bert 模型的具体案例，一步步演示 ZeRO 系列优化策略的配置，包括 CPU 与 GPU 内存的协同管理、通信参数调整等。最后实战多机多卡并行训练配置，让你具备在集群环境下训练大模型的能力。资料包中的代码脚本、配置文件及环境镜像需全程配合练习，建议在本地虚拟机或云服务器上复现每一个实验步骤。学完本套课程，你将不再局限于调包侠，而是具备独立处理中大型模型微调与分布式部署能力的实战工程师。

课程目录

10_prompt_改写任务2_ev.mp4 72.24M
10-1.1_llama2任务简介.mp4 136.49M
10-1.2_rams数据处理_1.mp4 91.67M
10-1.2_rams数据处理_2.mp4 77.92M
10-1.3_lora原理部分介绍.mp4 40.01M
10-1.4_llama2环境安装以及部分bug排查.mp4 219.99M
10-1.5_lora训练.mp4 146.98M
10-1.6_lora推理部分_问题生成.mp4 135.53M
10-1.7_lora_推理_fewshot回答.mp4 58.79M
10-1.8_int8量化原理.mp4 57.00M
11_prompt_抽取任务1_ev.mp4 54.15M
12_prompt_抽取任务2_ev.mp4 90.33M
13_prompt角色扮演_ev.mp4 121.09M
14_prompt_数据制作1_ev.mp4 45.81M
15_prompt_数据制作2_ev.mp4 27.49M
16_prompt_数据制作3_ev.mp4 87.71M
17_prompt_数据制作4_ev.mp4 122.38M
18_deepspeed_概述_ev.mp4 59.84M
19_deepspeed_配置_ev.mp4 38.48M
21_deepspeed_demo实例.mp4 42.37M
22_deepspeed_bert_1.mp4 44.20M
23_deepspeed_bert_2.mp4 8.51M
24_deepspeed_bert_3.mp4 59.32M
25_deepspeed_bert_4.mp4 161.31M
26_deepspeed_多机多卡配置.mp4 37.04M
27_chatglm3_新特性.mp4 52.99M
28_chatglm3_新特2.mp4 53.94M
29_流式与非流式_chat_generate.mp4 52.27M
30_glm2的tokenizer.mp4 49.51M
31_推理、训练、量化占用显存.mp4 83.60M
32_chatglm全量微调1.mp4 114.64M
33_chatglm全量微调2-cpu交换技术.mp4 215.40M
34_chatglm全量微调3-.mp4 137.16M
35_微调结果评测.mp4 25.10M
36_微调模型加载1.mp4 36.77M
37_微调结束后-推理.mp4 48.31M
38-微调优化.mp4 94.65M
39-codegeex微调-数据准备.mp4 43.15M
40-codegeex-微调数据处理.mp4 137.69M
41-codegeex-微调结果评测.mp4 48.86M
42-function-call概述.mp4 30.36M
43-function_call概述2.mp4 24.31M
44-function-call实例1.mp4 49.20M
45-手写function_call-1.mp4 66.08M
46-手写function_call-2.mp4 158.51M
47-streamlit-debug环境配置.mp4 42.92M
48_function-all_官方代码逐行解读.mp4 97.16M
49_code-interpreter-概述.mp4 26.23M
50_手写code-interpreter.mp4 140.91M
51_code-interpreter进阶.mp4 72.72M
52_项目演示.mp4 13.38M
53_akshare接口.mp4 49.69M
54_gradio-界面设计.mp4 40.85M
55_手写项目.mp4 289.21M
LLM大模型视频
0_课程介绍_ev.mp4 27.86M
1_模型文件下载方法1.mp4 _ev.mp4 31.89M
2_模型文件下载方法2.mp4 _ev.mp4 37.20M
3_配置服务器jupyter环境.mp4 _ev.mp4 75.35M
4_vscode远程连接服务器.mp4 _ev.mp4 34.73M
5_vscode远程debug配置.mp4 _ev.mp4 82.65M
6_prompt_概述_ev.mp4 15.86M
7_prompt_技巧_ev.mp4 88.87M
8_prompt_技巧2_ev.mp4 42.33M
9_prompt_改写任务1_ev.mp4 62.54M
0-课程大纲简要说明_ev.mp4 6.72M
1-llm简要概览_ev.mp4 16.03M
10.1.10_qlora的代码.mp4 24.94M
10.1.9_qlora的nf4_ev.mp4 41.79M
10.1.9_qlora的双重量化.mp4 18.27M
2-llm的发展历程_part1_ev.mp4 45.10M
2-llm的发展历程_part2_ev.mp4 66.92M
3-llm的训练流程以及常见的概念_ev.mp4 96.39M
4-llm的常见架构_ev.mp4 76.72M
5-llm的评价标准_ev.mp4 39.21M
6-1.1_llm的幻觉定义_ev.mp4 34.32M
6-1.2幻觉的评估方法_ev.mp4 17.82M
6-1.3幻觉产生的原因_ev.mp4 29.32M
6-1.4_llm幻觉的常见的解决方式_ev.mp4 35.51M
6-1.5_llm的知识编辑_ev.mp4 48.93M
7-llm自动生成prompts_ev.mp4 46.30M
8-1.1_Llama2的rmsnorm_原理_ev.mp4 37.15M
8-1.2_Llama2的rmsnorm_代码_ev.mp4 50.07M
8-1.3_Llama2的ROPE_原理_ev.mp4 155.39M
8-1.4_Llama2的ROPE_代码_ev.mp4 91.06M
8-1.5_Llama2的Attention_原理_ev.mp4 43.69M
8-1.6_Llama2的Attention_代码.mp4 193.63M
8-1.6_Llama2的Attention_代码_ev.mp4 250.67M
8-1.7_Llama2的ffn_原理_ev.mp4 10.70M
8-1.8_Llama2的ffn_代码_ev.mp4 34.76M
8-1.9_llama2模型组装_ev.mp4 113.27M
9-1.1pet原理&dataloader_ev.mp4 149.57M
9-1.2pet模型和训练验证_ev.mp4 108.46M
9-1.3ptuningv1原理以及代码_ev.mp4 184.62M
9-1.4ptuningv2原理_ev.mp4 15.83M
9-1.5ptuningv2_代码1_ev.mp4 47.73M
9-1.6ptuningv2_代码2_ev.mp4 147.28M
9-1.7ptuningv2_代码3_ev.mp4 4.94M
文档
sft高效微调.pdf 1.83M
大语言模型（Large Language Model，LLM）综述.pdf 4.63M
面试.pdf 362.16kb
配置服务器的jupyter环境.pdf 193.15kb
手写llama2源码.pdf 541.48kb
代码.zip 11.51G