这门实战营的主题很集中:把开源大模型真正跑起来、调得动、接得上业务。它不打算带你从头推导 Transformer,也不承诺学完就能训出下一个 GPT。它解决的是另一类更常见的问题——权重下载完了却卡在环境上、微调脚本跑通但显存爆了、模型答得挺顺却没法调用外部工具。下面按能力缺口拆开说。

缺口一:环境与显存,第一步就容易卡住

很多人第一次碰开源大模型,卡点不在模型本身,而在前置环节:CUDA 版本与 PyTorch 对不对得上、权重从哪拿、量化加载怎么配、单卡放不下时怎么办。这部分内容会先把环境跑通这件事讲清楚,包括常见的版本冲突表现和排查顺序。判断自己是否需要看:如果你曾经在装依赖、加载模型这一步反复失败,或者勉强跑起来但显存一直贴着上限,这块值得先过一遍。

需要说明的是,环境部分看起来琐碎,但它是后面所有实验的地基。跳过它直接看微调,通常会在某个报错里再绕回来。

缺口二:提示词不是玄学,是可拆解的任务改写

Prompt 部分处理的是一类具体任务:如何把原始输入改写成模型能稳定执行的指令,比如改写、格式约束、角色设定。它和“随便聊两句试试”是两回事——重点在于让输出可复现、可批量。举个例子,同一个改写需求,指令里有没有明确输出结构、有没有给反例,结果的稳定性差别很大。

这一节配套练习的意义在于:你可以拿自己手上的文本任务去试,而不是只看别人写好的模板。看完应能回答:为什么我的提示词换个输入就失效?多轮对话里上下文该如何组织?

缺口三:微调 Llama2 与 ChatGLM,两条不同路线

微调是这门课的重心之一,且明确覆盖两个不同家族:Llama2 与 ChatGLM。它们的数据组织方式、对话模板、微调接口都有差异,分别练一遍比只跑通一个更有价值——因为工作中拿到的基座未必是你熟悉的那一个。

这里需要建立几个判断:什么情况下该微调、什么情况下改提示词更划算;数据量不够时微调会发生什么;微调后模型“变笨”或不听话,通常出在哪。配套练习会围绕数据准备、训练参数设置、效果验证展开。这些问题的答案,直接决定你后面是真在做项目,还是在照着脚本走一遍。

缺口四:分布式训练,单卡之外的那一步

当模型规模或数据量超出单卡承载,就要面对分布式训练。这部分涉及 DP 一类的并行方式,核心是理解数据怎么切、梯度怎么同步、多卡利用率为什么上不去。它不属于入门必备,但属于“迟早要碰”的那一档——尤其是你想在有限硬件上把训练规模做大。

如果你的机器只有一张卡,这部分可以按理解原理的方式来学,不必强求复现全部配置;但概念上要能区分不同并行策略各自解决什么问题。

缺口五:函数调用与代码解释器,让模型真的干活

Function Call 和 Code Interpreter 这两块,是把模型从“会说话”推到“能执行”的关键。前者让模型按约定格式请求外部接口,后者让模型生成并运行代码来回答问题。它们共同的前提是:你对结构化输出、工具描述、调用结果的回传链路有清楚认识。

这部分最值得动手。因为函数调用的失败大多不是模型能力问题,而是描述写得含糊、参数校验缺失、结果回传格式不对。配套实操会把这些环节走一遍,适合已经能跑通推理、想让模型接入实际流程的学习者。

学之前,先对齐三件事

  • 你手上有没有可用的 GPU 或云上算力。微调与分布式部分对硬件有实际要求,纯 CPU 环境下体验会打折。
  • 你更缺哪一环。只想把模型接进现有系统,重点看 Prompt 与函数调用;想改模型行为,重点看微调。
  • 你愿不愿意跑配套练习。这门课的价值在动手,只看不练,环境、微调、调用三处的坑一个都绕不过去。

看完整个实战营,你应当能回答:一个开源模型从下载到能对外提供服务,中间要经过哪些步骤?微调和提示词各自的适用边界在哪?多卡训练解决了什么问题、又引入了什么新问题?以及,模型如何通过函数调用和代码执行真正完成一项任务。这些问题的答案,比记住某个脚本的参数更有用。

保姆级LLM大模型实战营:Llama2+ChatGLM微调+DP分布式+函数调用项目实操

LLM大模型实战,深度学习项目实操

编辑点评

实战性强,涵盖LLM微调、分布式训练和函数调用,适合AI初学者和进阶者。

⭐ 编辑推荐

本课程深入浅出地讲解LLM大模型实战,从环境搭建到项目实操,助你掌握LLM技术。

课程亮点

• LLM大模型实战
• 微调与分布式训练
• 函数调用项目实操

课程目录

📁 LLM大模型视频
📁     📁 布丁部分
📁         📁 4_function_call
            4_function_call资料.zip  [1.8 MB]
📁         📁 5_code_interpreter
📁         📁 3_微调
            3_微调资料.zip  [1.8 MB]
📁         📁 1_环境
            1_环境资料.png  [493.5 KB]
📁         📁 2_prompt
        9_prompt_改写任务1_92004_7443.mp4  [62.5 MB]
        8_prompt_技巧2_92004_9018.mp4  [42.3 MB]
        55_手写项目_92004_2250.mp4  [289.2 MB]
        7_prompt_技巧_92004_1226.mp4  [88.9 MB]
        5_vscode远程debug配置.mp4_92004_3201.mp4  [82.6 MB]
        6_prompt_概述_92004_3702.mp4  [15.9 MB]
        53_akshare接口_92004_1877.mp4  [49.7 MB]
        54_gradio-界面设计_92004_4973.mp4  [40.9 MB]
        50_手写code-interpreter_92004_9161.mp4  [140.9 MB]
        52_项目演示_92004_7303.mp4  [13.4 MB]
        51_code-interpreter进阶_92004_2981.mp4  [72.7 MB]
        4_vscode远程连接服务器.mp4_92004_2166.mp4  [34.7 MB]
        49_code-interpreter-概述_92004_9343.mp4  [26.2 MB]
        46-手写function_call-2_92004_8197.mp4  [158.5 MB]
        48_function-all_官方代码逐行解读_92004_3423.mp4  [97.2 MB]
        47-streamlit-debug环境配置_92004_8062.mp4  [42.9 MB]
        45-手写function_call-1_92004_9993.mp4  [66.1 MB]
        44-function-call实例1_92004_4232.mp4  [49.2 MB]
        43-function_call概述2_92004_6180.mp4  [24.3 MB]
        40-codegeex-微调数据处理_92004_1841.mp4  [137.7 MB]
        41-codegeex-微调结果评测_92004_8524.mp4  [48.9 MB]
        42-function-call概述_92004_6764.mp4  [30.4 MB]
        3_配置服务器jupyter环境.mp4_92004_9365.mp4  [75.4 MB]
        38-微调优化_92004_2294.mp4  [94.6 MB]
        39-codegeex微调-数据准备_92004_5237.mp4  [43.2 MB]
        37_微调结束后-推理_92004_8087.mp4  [48.3 MB]
        33_cha_92004_7508.mp4  [215.4 MB]
        36_微调模型加载1_92004_1639.mp4  [36.8 MB]
        34_cha_92004_4112.mp4  [137.2 MB]
        35_微调结果评测_92004_2611.mp4  [25.1 MB]
        32_cha_92004_2181.mp4  [114.6 MB]
        31_推理、训练、量化占用显存_92004_9704.mp4  [83.6 MB]
        30_glm2的tokenizer_92004_8464.mp4  [49.5 MB]
        2_模型文件下载方法2.mp4_92004_5849.mp4  [37.2 MB]
        29_流式与非流式_chat_generate_92004_3743.mp4  [52.3 MB]
        28_cha_92004_1037.mp4  [53.9 MB]
        25_deepspeed_bert_4_92004_8823.mp4  [161.3 MB]
        27_cha_92004_4594.mp4  [53.0 MB]
        26_deepspeed_多机多卡配置_92004_3616.mp4  [37.0 MB]
        24_deepspeed_bert_3_92004_1479.mp4  [59.3 MB]
        23_deepspeed_bert_2_92004_5480.mp4  [8.5 MB]
        22_deepspeed_bert_1_92004_4161.mp4  [44.2 MB]
        21_deepspeed_demo实例_92004_7514.mp4  [42.4 MB]
        1_模型文件下载方法1.mp4_92004_1768.mp4  [31.9 MB]
        19_deepspeed_配置_92004_4449.mp4  [38.5 MB]
        18_deepspeed_概述_92004_2977.mp4  [59.8 MB]
        17_prompt_数据制作4_92004_2197.mp4  [122.4 MB]
        16_prompt_数据制作3_92004_5204.mp4  [87.7 MB]
        15_prompt_数据制作2_92004_3970.mp4  [27.5 MB]
        13_prompt角色扮演_92004_6573.mp4  [121.1 MB]
        14_prompt_数据制作1_92004_2551.mp4  [45.8 MB]
        12_prompt_抽取任务2_92004_3683.mp4  [90.3 MB]
        11_prompt_抽取任务1_92004_1836.mp4  [54.2 MB]
        10_prompt_改写任务2_92004_2017.mp4  [72.2 MB]
        0_课程介绍_92004_5818.mp4  [27.9 MB]
📁     📁 季康部分
📁         📁 3_高效微调
            3_高效微调必看.zip  [1.8 MB]
📁         📁 1_LLM综述
            1_LLM综述文档.png  [493.5 KB]
📁         📁 2_手写llama2源码
            2_手写llama2源码文档.png  [493.5 KB]
        9-1.6ptuningv2_代码2_92004_5740.mp4  [147.3 MB]
        9-1.3ptuningv1原理以及代码_92004_8067.mp4  [184.6 MB]
        9-1.5ptuningv2_代码1_92004_2734.mp4  [47.7 MB]
        9-1.4ptuningv2原理_92004_1843.mp4  [15.8 MB]
        9-1.2pet模型和训练验证_92004_2807.mp4  [108.5 MB]
        9-1.1pet原理&dataloader_92004_8222.mp4  [149.6 MB]
        8-1.9_llama2模型组装_92004_2995.mp4  [113.3 MB]
        8-1.6_Llama2的Attention_代码_ev_92004_3748.mp4  [250.7 MB]
        8-1.8_Llama2的ffn_代码_92004_2605.mp4  [34.8 MB]
        8-1.7_Llama2的ffn_原理_92004_8361.mp4  [10.7 MB]
        8-1.6_Llama2的Attention_代码_92004_6038.mp4  [193.6 MB]
        8-1.5_Llama2的Attention_原理_92004_5253.mp4  [43.7 MB]
        8-1.3_Llama2的ROPE_原理_92004_4078.mp4  [155.4 MB]
        8-1.4_Llama2的ROPE_代码_92004_7272.mp4  [91.1 MB]
        8-1.2_Llama2的rmsnorm_代码_92004_1008.mp4  [50.1 MB]
        8-1.1_Llama2的rmsnorm_原理_92004_1310.mp4  [37.2 MB]
        7-llm自动生成prompts_92004_7338.mp4  [46.3 MB]
        6-1.5_llm的知识编辑_92004_3017.mp4  [48.9 MB]
        季康部分必看.zip  [1.8 MB]
        6-1.4_llm幻觉的常见的解决方式_92004_6368.mp4  [35.5 MB]
        9-1.7ptuningv2_代码3_92004_9095.mp4  [4.9 MB]
        6-1.3幻觉产生的原因_92004_5433.mp4  [29.3 MB]
        6-1.2幻觉的评估方法_92004_8266.mp4  [17.8 MB]
        6-1.1_llm的幻觉定义_92004_5099.mp4  [34.3 MB]
        5-llm的评价标准_92004_4969.mp4  [39.2 MB]
        4-llm的常见架构_92004_6882.mp4  [76.7 MB]
        3-llm的训练流程以及常见的概念_92004_5797.mp4  [96.4 MB]
        2-llm的发展历程_part2_92004_8398.mp4  [66.9 MB]
        2-llm的发展历程_part1_92004_5317.mp4  [45.1 MB]
        10.1.9_qlora的nf4_92004_8999.mp4  [41.8 MB]
        10.1.9_qlora的双重量化_92004_1368.mp4  [18.3 MB]
        10-1.8_int8量化原理_92004_2856.mp4  [57.0 MB]
        10.1.10_qlora的代码_92004_4844.mp4  [24.9 MB]
        10-1.6_lora推理部分_问题生成_92004_5538.mp4  [135.5 MB]
        10-1.7_lora_推理_fewshot回答_92004_5391.mp4  [58.8 MB]
        10-1.4_llama2环境安装以及部分bug排查_92004_2890.mp4  [220.0 MB]
        10-1.5_lora训练_92004_8425.mp4  [147.0 MB]
        10-1.2_rams数据处理_2_92004_4180.mp4  [77.9 MB]
        10-1.3_lora原理部分介绍_92004_4962.mp4  [40.0 MB]
        10-1.1_llama2任务简介_92004_2803.mp4  [136.5 MB]
        10-1.2_rams数据处理_1_92004_8523.mp4  [91.7 MB]
        1-llm简要概览_92004_2031.mp4  [16.0 MB]
        0-课程大纲简要说明_92004_7237.mp4  [6.7 MB]
    LLM大模型视频必看.png  [493.5 KB]
📁 文档
    大语言模型(Large Language Model,LLM)综述_92004_4522.pdf  [4.6 MB]
    sft高效微调_92004_5822.pdf  [1.8 MB]
    面试_92004_7809.pdf  [362.2 KB]
    配置服务器的jupyter环境_92004_3083.pdf  [193.2 KB]
    手写llama2源码_92004_7733.pdf  [541.5 KB]
    文档必看.png  [493.5 KB]

适合人群

  • AI初学者
  • AI进阶者
  • 对LLM感兴趣的开发者

学习收获

掌握LLM微调技术
学会分布式训练方法
完成实际项目开发

祝您学习愉快!

学有所成,前程似锦!