定位与能力缺口：别把峰会录像当新闻看

这份资料来自二零一五年上海站的峰会现场录像，主题是 Hadoop 与大数据生态的工程实践。你得先认清它的定位：这不是手把手敲命令的入门课，而是数十位一线工程师在讲架构取舍。很多转岗同学的问题在于，简历上写着熟悉大数据，真问到分布式一致性问题或者数据湖落地细节就卡壳。缺的不是 API 用法，而是真实业务场景下的权衡能力。这份录像适合有一定基础的人查漏补缺：你得懂基本的 HDFS 和 MapReduce 概念，最好写过几行 SQL，否则听金融实践或者分布式引擎的演讲容易云里雾里。如果你是零基础，建议先去补完基础再来听这些案例，别假装看几场讲座就能掌握架构设计。

建议先看的重点与资料配合练习

几十场演讲不用平均用力，建议先啃三块硬骨头。第一是分布式系统一致性的那场，这是理解后续所有存储讨论的基石，听完后自己画一遍写请求的流转链路。第二是 Presto 引擎的分享，它代表了从批处理走向交互式查询的演进，重点听查询下推和内存计算的瓶颈。第三是金融行业的实践阶段，看看别人是怎么把技术堆栈塞进严苛的业务约束里的。配套练习方面，录像不会给你现成代码，你得自己搭一套本地环境。听完一致性那节，去用 ZooKeeper 写个简单的锁服务验证脑裂场景；听完 Presto 那节，拿开源版本跑几条多表关联的查询，观察执行计划。资料包里的录像只是线索，真正的练习得靠你拿真实数据去复现演讲里提到的架构痛点。

学完能独立回答什么问题

  • 在构建分布式系统时，如何权衡强一致性与最终一致性，具体在 Hadoop 生态里靠什么组件来兜底？
  • 当传统批处理撑不住交互式分析需求时，分布式 SQL 引擎是怎么解决内存与调度瓶颈的？
  • 把 Hadoop 塞进金融这种高合规要求的行业，分哪几个阶段落地，数据可视化如何做到敏捷而不失规范？

把这几个问题答透，你再去面试或者接手老系统时，就不只是会背参数配置，而是能讲清这些技术当年到底解决了什么现实矛盾。这才是看这类峰会录像的真正价值。

课程目录

1 eBay connects the world with Hadoop (41:15)
2 如何构建确保一致性的分布式系统 (36:59)
3 开放的Power为大数据分析注入新活力 (31:36)
4 Hadoop and Cloudera (26:40)
5 Enterprise Hadoop: Past, Present, and Future (40:48)
6 大数据可视化的敏捷之道 (31:10)
7 互联网+时代下甲骨文云战略 (39:14)
8 EMC Business Data Lake – Bringing Agility to Big Data (29:06)
9 大数据金融的五大实践阶段 (38:36)
10 Presto – Distributed SQL Engine for Big Data (40:18)
11 a world-class Transactional SQL RDBMS now on Hadoop (36:48)
12 A comparison study of SQL-on-Hadoop engines (46:02)
13 Apache Drill - Industry’s First Schema-Free SQL Engine (36:30)
14 Apache Hive的现状和未来 (36:03)
15 IBM Power系统基于Hadoop/Spark的大数据解决方案 (42:46)
16 Hadoop on Docker - from development to production (24:35)
17 创新网络构建高效Hadoop平台 (44:17)
18 Hadoop Eagle：Hadoop平台监控、预警及自动化 实时分布式框架 (43:46)
19 闪存阵列在大数据领域的作用 (28:17)
20 蚂蚁金服大数据平台应用 (44:16)
21 商业银行大数据应用之浅见 (44:42)
22 金融反洗钱与大数据技术 (24:32)
23 金融行业大数据创新之路 (31:38)
24 大数据在金融行业的潜在应用 (42:38)
25 数据在智能商业上的探索之路 (30:38)
26 视频大数据及其在公安中的应用 (31:54)
27 大数据在交通管理中的应用 (26:54)
28 移动互联时代的语音及语言大数据计算 (33:07)
29 OpenVMC开放视频管理框架,构建高性价比智能视频管理平台 (20:06)
30 互联网+时代下的交通大数据应用创新 (29:06)
31 大数据技术在视频监控行业的应用实践 (40:45)
32 New developments in HBase (48:51)
33 Apache Kylin：分布式大规模联机分析（OLAP）平台 (31:44)
34 HBase热点问题处理和优化 (37:15)
35 Sequoiadb在金融行业中的应用场景 (41:04)
36 IBMSpark数据和设计迎巨变 (41:56)
37 Holodesk A distributed cache layer for interactive analysis (26:17)
38 HiMeter-大数据性能分析框架 (43:14)
39 Storm + HBase : Near Real Time ETL practice (16:27)
40 Streaming density clustering algorithm to detect crowd (39:18)
41 Topic modelling on Spark (24:06)
42 Ensuring Production Success for Hadoop (42:39)
43 HMC：Hadoop Cluster自助资源管理控制台 (32:26)
44 Accelerating SQL on Hadoop* with Big-Bench (24:01)
45 大数据在微博的平台建设之路 (49:21)
46 Hadoop Robot： hadoop 集群自动化运维系统 (34:43)
47 移动大数据与金融APP运营创新 (17:31)
48 Distributed Parameter Server for Internet Scale ML (40:15)
49 领先的大型连接数据的创新与实时图形分析 (39:02)
50 大数据--商业理解，数据科学，IT实践之完美结合 (37:58)
51 基于Hadoop的自然语言处理应用 (16:51)
52 百度司南后端系统 (33:55)
53 探索大数据最后一公里 (22:57)
54 大数据在城市计算的应用 (29:00)
55 电网智能化的大数据挑战与对策 (49:02)
56 中国邮政大数据应用实践 (40:56)
57 Cisco Big Data Solution and Manufactory Case Sharing (33)
58 数据为中心的大数据合规与安全 (33:58)
59 基于异构并行计算平台的智能图像视频分析 (41:33)
60 cloudera企业大数据平台助力智能交通 (17:15)