很多人对《统计学习方法》的用法，是先买一本放在桌上，翻到感知机那章，推了两页公式，合上，然后再也没打开过。问题往往不在数学难度，而在于没有人告诉你：这一章到底要能推出什么、推到哪一步算过关、卡住了该回头补哪块。这个训练营针对的就是这种"书是好书，但读不动"的状态。

先弄清楚自己缺的是哪一层

统计学习方法的难点是分层的。最底层是数学准备：凸优化里对偶问题的推导习惯、概率里的条件期望与极大似然、线性代数里的矩阵分解与特征空间直觉。中间层是方法的建模思路：为什么感知机要用误分类点到超平面的距离做损失，为什么逻辑斯谛回归和最大熵模型在形式上有对应关系，为什么 SVM 要从间隔最大化推到对偶再引入核函数。最上层才是算法实现与调参。

这三层缺哪一层，读同一本书的体验完全不同。缺底层的人卡在公式变形，缺中间层的人能看懂推导但说不清方法之间的血缘，缺上层的人考试能写但代码跑不出结果。训练营的价值不在于把书再念一遍，而在于把这三层的检查点标出来，让你知道自己现在站在哪。

监督学习部分：重点是"为什么这么设计"

课程覆盖的核心方法包括感知机、k 近邻、朴素贝叶斯、决策树、逻辑斯谛回归与最大熵、支持向量机、提升方法、EM 算法、隐马尔可夫模型和条件随机场。这些名字在网上都能搜到单独讲解，但零散看容易丢掉两条主线：一条是判别式与生成式的分野，另一条是"模型—策略—算法"这个三要素框架在各章里的具体落地。

建议在学习时对每个方法都追问四个问题：它的假设空间长什么样，损失函数或目标函数为什么这样定义，优化算法为什么收敛，以及它的泛化误差上界受哪些量控制。能把这四个问题答清楚，才算真正过了一章，而不是把公式抄了一遍。

无监督部分：这部分最容易被跳过

不少人对《统计学习方法》的印象停留在监督学习，聚类、降维、概率图模型里的无向图部分常常一带而过。但实际工作中，标注数据往往是最贵的资源，无监督方法的使用频率并不低。训练营专门补上了这块，包括聚类方法、奇异值分解与主成分分析，以及在 EM 框架下理解含隐变量的无监督建模。

这里要特别注意一个衔接点：EM 算法在监督部分是以含隐变量概率模型的形式出现的，到了无监督部分，它和聚类、混合模型的关系会变得更直观。如果前面 EM 只是囫囵吞下，这里会二次卡住，建议回头补。

配套练习该怎么做

  • 每章手推一遍核心公式，尤其是对偶形式、EM 的 E 步与 M 步、前向—后向算法，不要只看。
  • 用一个小数据集把方法跑通，重点观察不同参数下结果怎么变，而不是追求精度数字。
  • 做方法之间的对比：同样是分类，朴素贝叶斯、逻辑斯谛回归、SVM 在什么数据上各自更合适。
  • 把无监督部分和监督部分串起来想，比如高斯混合模型与 EM 的关系、PCA 与 SVD 的关系。

学完之后应该能回答的问题

如果你能不看笔记回答下面这些，说明这门课没白上：为什么 SVM 的对偶形式里只出现样本内积，核技巧因此才成立？为什么提升方法关注的是偏差而 bagging 关注方差？EM 算法为什么只能保证收敛到局部最优？隐马尔可夫模型的三个基本问题分别对应哪三个算法？K 均值和高斯混合模型在"硬分配"与"软分配"上的差别意味着什么？

答不上来的那一条，就是下一轮复习的入口。

李航《统计学习方法》训练营（含无监督学习部分）

课程详情

课程标题

李航《统计学习方法》训练营（含无监督学习部分）

课程核心介绍

本训练营深入讲解李航教授的《统计学习方法》一书，涵盖统计学习的基本理论和方法，特别加入无监督学习部分，帮助学员全面掌握统计学习领域的知识。

适合人群

  • 对机器学习和数据挖掘感兴趣的初学者
  • 希望提升统计学习理论水平的工程师
  • 从事数据分析、人工智能相关工作的专业人士

学习收获

  • 掌握统计学习的基本概念和理论框架
  • 了解并掌握常见的统计学习方法
  • 学习无监督学习在现实中的应用
  • 提升数据分析与机器学习实践能力

课程亮点

  • 系统讲解统计学习方法，理论与实践相结合
  • 加入无监督学习内容，拓宽知识面
  • 案例丰富，易于理解和应用
  • 互动性强，学员可随时提问

课程目录

01 1月30日 直播分享 - 视频暂时无法播放.txt
02 【严正声明】盗版必究！.html
03 【招募】如何获得深度之眼奖学金和助学金？.html
04 【必看】训练营学习指南.html
05 【资料合集】课件及作业代码合集.html
06 第一章 1.1 导论.mp4
07 第一章 1.2 极大似然估计.mp4
08 第一章 1.3 梯度下降法.mp4
09 第一章作业讲解-极大似然估计.mp4
10 第二章 2.1 导论.mp4
11 第二章 2.2 对偶形式.mp4
12 第二章 2.3 收敛性.mp4
13 code——感知机.mp4
14 第二章作业讲解-感知机自编程实现.mp4
15 第二章作业讲解-感知机sklearn实现.mp4
16 第三章 3.1 导论.mp4
17 第三章 3.2 kd树.mp4
18 code——k近邻.mp4
19 第三章作业讲解-KNN 自编程.mp4
20 第三章作业讲解-KNN-sklearn.mp4
21 第四章 4.1 导论.mp4
22 第四章 4.2 贝叶斯估计.mp4
23 第四章 4.3 期望风险最小化.mp4
24 code——朴素贝叶斯.mp4
25 第四章作业讲解-贝叶斯估计.mp4
26 第四章作业讲解-朴素贝叶斯.mp4
27 第五章 5.1 导论.mp4
28 第五章 5.2 剪枝.mp4
29 code——决策树.mp4
30 第五章作业讲解-决策树.mp4
31 第六章 6.1 逻辑斯蒂回归与最大熵.mp4
32 第六章 6.2 改进的迭代尺度法.mp4
33 第六章作业讲解-逻辑斯谛回归.mp4
34 code——逻辑斯蒂回归与最大熵.mp4
35 第七章 7.1 导论.mp4
36 第七章 7.2 存在唯一性.mp4
37 第七章作业讲解-支持向量机习题7.1.mp4
38 第七章作业讲解-支持向量机 sklearn习题7.2.mp4
39 第七章作业讲解-支持向量机习题7.3.mp4
40 code——EM算法及推广.mp4
41 第八章 8.1 导论.mp4
42 第八章 8.2 前向分步算法.mp4
43 第八章 8.3 adaboost的训练误差.mp4
44 第八章作业讲解-提升方法.mp4
45 code——支持向量机.mp4
46 第九章 9.1 导论.mp4
47 第九章 9.2 高斯混合模型.mp4
48 第九章作业讲解-EM算法.mp4
49 code——提升方法.mp4
50 第十章 10.1 导论.mp4
51 第十章 10.2 前向算法.mp4
52 第十章 10.3 维特比算法.mp4
53 第十章作业讲解-隐马尔可夫模型.mp4
54 code——隐马尔可夫.mp4
55 第十一章 11.1 导论.mp4
56 第十一章 11.2 拟牛顿法.mp4
57 第十一章 11.3 条件随机场的矩阵形式.mp4
58 第十一章作业讲解-条件随机场.mp4
59 第十三章无监督学习导论.mp4
60 第十四章14.1聚类的基本概念.mp4
61 第十四章14.2.1距离与相似度.mp4
62 第十四章14.2.2聚合聚类 距离公式介绍.mp4
63 第十四章14.2.3距离公式证明.mp4
64 第十四章14.2.4确定最佳聚类数.mp4
65 第十四章14.2.5有序样本分类法.mp4
66 第十四章14.3K均值聚类.mp4
67 第十四章14.1作业讲解- K-Means算法和高斯混合模型的比较.mp4
68 第十四章14.2作业讲解- 14.2 有关类的定义推导.mp4
69 第十四章14.3作业讲解-  离差平方和距离推导公式证明.mp4
70 第十四章14.3作业讲解-重心距离推导公式证明.mp4
71 第十五章15.1矩阵奇异值分解步骤.mp4
72 第十五章15.2矩阵奇异值分解基本定理.mp4
73 第十五章15.3矩阵奇异值分解性质与计算.mp4
74 第十五章15.4.1矩阵奇异值分解的酉空间表示法.mp4
75 第十五章15.5矩阵奇异值分解的应用.mp4
76 第十五章作业讲解- 奇异值分解01.mp4
77 第十五章作业讲解- 奇异值分解02.mp4
78 第十六章16.1主成分分析介绍.mp4
79 第十六章16.2主成分分析基本定理.mp4
80 第十六章16.3主成分的性质与选择.mp4
81 第十六章16.4主成分的特征.mp4
82 第十六章16.5牛顿迭代与梯度下降法.mp4
83 第十六章16.6拟牛顿迭代法.mp4
84 第十六章16.1作业讲解- 样本主成分分析.mp4
85 第十六章16.2 作业讲解-样本方差无偏估计的理解.mp4
86 第十六章16.3作业讲解- 求第一主成分.mp4
87 第十七章17.1LSA导入.mp4
88 第十七章17.2LSA算法实现.mp4
89 第十七章17.3非负矩阵分解算法.mp4
90 第十七章17.4LSA案例分析与编程实现.mp4
91 第十七章 作业讲解.mp4
92 第十八章18.1PLSA生成模型.mp4
93 第十八章18.2PLSA共现模型.mp4
94 第十八章18.3PLSA模型算法实现.mp4
95 第十八章18.4PLSA模型EM算法详解.mp4
96 第十八章 作业讲解.mp4
97 第十九章19.1蒙特卡罗法引入.mp4
98 第十九章19.2马尔科夫链的定义与性质.mp4
99 第十九章19.3连续状态马尔科夫链.mp4
100 第十九章19.4Metropolis-Hastings算法与吉布斯抽样算法.mp4
101 第十九章 作业讲解.mp4
102 第二十章20.1LDA分布、模型与Gibbs抽样算法.mp4
103 第二十章20.2LDA的变分EM算法.mp4
104 第二十章 作业讲解.mp4
105 第二十一章21.1PageRank算法的定义与幂法计算.mp4
106 第二十一章 作业讲解.mp4
107 第二十二章 22无监督学习方法总结.mp4