数据探索:从理论到实操的技能缺口弥补

这门课的核心是解决初学者或转行者对R语言数据探索环节的系统性短板。现有知识往往停留在零散的函数使用上,而缺乏对数据预处理、缺失值处理、分布变换等关键步骤的理论串联与实战结合。课程通过理论梳理与案例解析,帮你补齐“知其所以然”的环节,避免在数据清洗阶段遇到问题时手足无措。重点弥补以下能力缺口:无法系统性识别数据质量问题、不懂得如何选择合适的缺失值处理方法、对数据分布优化缺乏实用策略。适合已有R语言基础(如掌握基本数据类型、简单统计分析),但缺乏数据探索全流程实践经验的学员,建议先了解1-1、1-2模块建立基本认知框架。

缺失值与异常值处理:理论结合效率提升

课程重点解决缺失值处理中的“选择困难症”——学员常常知道删除或填充,却不知何时用均值中位数、何时用模型预测,更缺乏对缺失模式(完全随机/随机/非随机)的判断能力。2-2至2-7模块提供了完整的解决方案:通过理论讲解(如2-1模块的成因危害)建立认知,用md.pattern、aggr等函数可视化缺失值分布,结合case study(如2-3、2-4模块的函数应用)形成方法论。配套练习建议从2-3模块的缺失值识别函数开始,逐步尝试用这些函数分析随机抽样数据集的缺失模式,并对照2-5、2-6的案例优化可视化输出。学完后应能独立完成:根据缺失比例和分布特征,判断删除或填充的合理性,并写出包含多重条件判断的R代码处理缺失值列。

数据预处理与分布优化:从函数调用到策略设计

课程弥补的另一个关键点是数据预处理策略的缺失——学员常机械套用cut函数或boxcox变换,却不理解分箱的等频等距差异、变换的适用场景。1-3、1-4模块通过案例拆解了这些操作的底层逻辑:用1-3的电信用户分箱案例理解cut参数设计的权衡,用1-4的销售额日志变换案例掌握如何通过变换使偏态数据更符合正态分布。配套练习建议先尝试对长尾分布数据(如城市人口数据)用cut创建分类变量,再用ggplot2绘制分组分布差异,再对比1-4案例中log变换前后的直方图差异。学完后应能独立设计预处理流程:针对特定业务场景(如信贷评分、用户活跃度分析)选择合适的数据分箱策略,并写出包含手动计算或函数调用的分布优化代码,如用scale_trans()调整连续变量尺度。

课程目录

1-1 [数据探索理论] 模块四课程内容介绍 (08:29)
1-2 [数据探索理论] 数据预处理常用理论知识梳理 (20:47)
1-3 [数据探索理论] 数据分箱cut函数案例详解 (23:50)
1-4 [数据探索理论] 改善变量分布的变换案例详解 (24:55)
2-1 [缺失值处理高级技巧] 缺失值和异常值产生的原因和危害 (10:48)
2-2 [缺失值处理高级技巧] 数据清洗常用方法介绍 (23:34)
2-3 [缺失值处理高级技巧] 缺失值识别函数 (30:18)
2-4 [缺失值处理高级技巧] 删除有缺失值的列详解 (20:01)
2-5 [缺失值处理高级技巧] 列表显示缺失值模式md.pattern函数案例详解 (38:11)
2-6 [缺失值处理高级技巧] 图形 探究缺失值模式aggr函数案例详解 (21:48)
2-7 [缺失值处理高级技巧] 均值对缺失值进行填补案例详解 (16:45)
2-8 [缺失值处理高级技巧] 用中位数对缺失值进行填补案例详解 (13:21)
2-9 [缺失值处理高级技巧] 线性回归模型插补案例详解 (32:30)
2-10 [缺失值处理高级技巧] 使用随机森林和袋装的方式对缺失值进行插补案例详解 (17:07)
2-11 [缺失值处理高级技巧] 使用KNN算法对缺失值进行插补案例详解 (23:38)
3-1 [异常值甄别] 异常值判定方法理论概述 (23:40)
3-2 [异常值甄别] 质量控制图的使用和控制规则 (14:33)
3-3 [异常值甄别] 常见质量控制图原理介绍 (20:56)
3-4 [异常值甄别] 判断异常值R语言实现 (09:30)
3-5 [异常值甄别] P质量控制图案例演示 (27:33)
3-6 [异常值甄别] 实例1:对日付费率绘制P质量控制图详解 (39:37)
3-7 [异常值甄别] 实例2:某款手游道具日客单价的单值均值控制图 (18:38)
3-8 [异常值甄别] 箱线图boxplots.stats案例介绍1 (30:06)
3-9 [异常值甄别] 箱线图boxplots.stats案例介绍2 (14:10)
3-10 [异常值甄别] 实例:利用箱线图甄别7留数据是否异常 (19:26)
3-11 [异常值甄别] 聚类分析识别异常值案例详解 (29:43)
4-1 [数据相关性分析] 相关分析常用方法介绍 (14:06)
4-2 [数据相关性分析] 相关分析之散点图及散点图矩阵 (15:08)
4-3 [数据相关性分析] 相关分析之相关系数介绍 (18:00)
4-4 [数据相关性分析] 相关分析之相关系数案例详解 (14:45)
4-5 [数据相关性分析] 相关系数可视化案例详解1 (28:53)
4-6 [数据相关性分析] 相关系数可视化案例详解2 (16:24)
5-1 [项目实战] 实战一:对问卷调研数据的缺失值模式进行探索 (22:07)
5-2 [项目实战] 实战二:对信用卡数据进行清洗-包括缺失值和异常值处理 (26:15)
5-3 [项目实战] 实战三:对游戏玩家玩牌数据进行相关性分析 (23:56)