WOT2016大数据技术峰会-实时计算专场

先认清你的能力缺口在哪

这份资料来自实时计算专场，主题集中在流式处理架构与大规模实时反馈系统的工程落地。如果你现在的状态是：写得起离线批处理作业，但一被问到秒级延迟、在线特征更新、万亿量级实时写入怎么扛就卡壳；或者看过流计算框架的文档，却说不清不同产品在反压、状态后端、窗口语义上的差异，那这份内容就是给你补这块短板的。它不讲基础语法，默认你已经懂分布式系统常识和离线数据管道的典型链路，缺的是把离线思维切换到实时思维的那层窗户纸，以及真实业务规模下会踩哪些坑。别假装这些架构你都趟过，先老老实实对着案例查漏补缺。

建议这样看和练

不要按顺序从头听到尾。建议先看流式计算框架产品的分析那一块，把选型逻辑和不同框架的适用边界理清楚，建立整体技术视野；接着直接切入大规模实时点击反馈平台和企业大数据实时分析这两个案例，重点拆解它们的数据流向：点击事件怎么采集、怎么去重、实时特征怎么回流到推荐系统、在线和离线链路怎么对账。百度那套万亿量级实时数据库系统的内容可以最后看，把它当成存储层极限抗压的参考，重点抓高并发写入下的分片策略与资源隔离思路。配套练习方面，资料里都是峰会演讲，没有现成代码包，听完每一块后，你得自己拿本地的开源流计算框架搭一个最小化管道：造一批模拟点击日志，写个去重和简单聚合的作业，再把结果落到一个实时数据库里，手动制造背压观察系统的容错行为。

学完得能独立回答这几个问题

看完这份资料，你应该能脱稿答出几件事：在亿级以上点击反馈场景里，实时链路为什么不能直接套用离线架构，瓶颈通常卡在采集端还是写入端；面对不同吞吐和延迟要求，该怎么在几款主流流计算框架之间做取舍，依据是什么；当实时数据流出现乱序或重复时，工程上该用什么手段保证计算结果的正确性；以及万亿级实时存储系统在扩缩容时如何保证不丢数据。如果这些点你还能结合自己业务里的数据量级给出具体估算，说明这课没白看。要是只能复述幻灯片上的概念，那就回去把案例里的数据流向图重新画一遍，缺什么补什么，直到能独立把整套实时链路推演清楚。