日志这件事,平时不显眼,出事的时候最要命。服务挂了,第一反应是翻日志;用户投诉下单失败,还是得翻日志。但如果日志散在七八台机器上,每台都要 ssh 上去 grep,翻一次半小时起步,问题还没定位到人已经烦了。这门课要解决的问题很明确:把散落各处的日志收拢起来,变成能查、能看、能报警的一套东西。

先说清楚:这门课不适合谁

如果你已经能熟练写 Elasticsearch 的 DSL 查询,自己搭过 Logstash 管道,Kibana 的 visualize 也玩得转,那这门课对你价值不大,最多当个回顾。它的定位是从头搭一套完整链路,所以有大量篇幅花在环境准备、组件安装、配置项解释上,这些内容对熟手来说是重复劳动。

但如果你属于下面几种情况,就值得花时间:

  • 会用 Linux,会看日志文件,但没接触过 ELK 这套东西;
  • 公司已经在用 ELK,你只负责在 Kibana 页面上点查询,不知道背后数据是怎么进来的;
  • 面试被问到日志采集链路,只能说出「用 ELK 收集」,再往下 Kafka 在中间干什么、Filebeat 和 Logstash 怎么分工就说不清了;
  • 想在自己电脑或测试环境上搭一套,但照着零散博客装到一半就卡在版本不兼容、启动报错上。

这套链路里,真正的难点在哪

ELK 三个字母看着简单,实际搭起来,容易出问题的往往不是 Elasticsearch 本身,而是中间的数据流转。课程里覆盖了 Filebeat + Kafka + Logstash 这条链路,这个组合不是凑数——Filebeat 轻量,适合装在业务机器上收集文件;Kafka 做缓冲,防止日志量突然暴涨把后面的 Logstash 压垮;Logstash 做解析和过滤,把非结构化的日志行拆成有字段的 JSON。

每一段都有坑。Filebeat 采集时文件被切割怎么办,多行日志(比如 Java 异常堆栈)怎么合成一条,Kafka 的 topic 和分区怎么规划,Logstash 的 grok 正则写不对会直接把日志丢进死信队列,还有 Elasticsearch 的索引生命周期——日志一天几个 G,不设清理策略磁盘很快就满。这些才是实战里真正花时间的地方,也是这门课需要你动手跟练的原因。

另外提醒一句,课程用的是 7.4 版本。ELK 各版本之间配置差异不小,7.x 里有些写法在 8.x 上已经不适用了,跟着做的时候注意版本一致性,别自己升级到最新版然后卡在兼容问题上。

建议的跟练方式

这门课不适合当视频刷。每装一个组件,先自己确认服务起没起来、端口通不通、日志有没有报错,再往下走。尤其是第一次配 Logstash 的时候,建议用一个几行的测试日志文件跑通全流程,确认数据能从文件一路进到 Kibana 的 discover 页面,再去接真实业务日志。全链路打通一次,后面再扩展就只是改配置的事。

告警部分不要跳过。日志系统只用来事后查,价值折一半;能在异常出现时主动通知,才算闭环。哪怕先用最简单的邮件告警跑通一次,理解触发条件怎么配,也比只看不练强。

学完之后,你应该能回答这几个问题

  • 一条日志从业务服务器上的文件,到能在 Kibana 里搜到,中间经过了哪几个组件,各自负责什么?
  • 为什么要在 Filebeat 和 Logstash 之间加 Kafka?不加会怎样?
  • Java 异常堆栈被拆成多行日志,应该在哪一层、用什么方式合并成一条?
  • 日志量太大导致磁盘吃紧,你能想到哪几种控制手段?
  • Kibana 上查不到某段时间的日志,你会按什么顺序排查?

这几个问题答得上,说明这套链路你是真的走通了,不是看过一遍。答不上来的部分,就是需要回去补的地方。

ELK(7.4)日志系统企业级实战

课程详情

课程标题

ELK(7.4)日志系统企业级实战

课程介绍

本课程旨在帮助学员使用Elasticsearch、Logstash和Kibana(简称ELK)构建一套企业级日志系统。通过本课程,学员将学习如何利用ELK技术打造一套集日志收集、分析、展示和告警等功能于一体的日志体系。

适合人群

- 零基础学员 - 运维工程师 - Linux工程师 - 开发工程师 - 测试工程师 - 架构师

学习收获

- 掌握Elasticsearch、Logstash和Kibana的基本操作 - 学会搭建企业级日志系统 - 理解ELK日志体系在企业中的应用 - 提高日志收集、分析和处理能力

课程亮点

- 通俗易懂,案例丰富 - 系统讲解Elasticsearch+Logstash+Kibana+filebeat+kafka日志体系 - 实战性强,从0开始搭建完善的企业级日志系统 - 跨操作系统,支持多种服务或程序的日志收集 - 近乎实时展示日志信息

课程目录

01 ELK整体架构
  01 ELK(EFLK)架构.mp4
  02 ELK适用的日志场景.mp4
02 es(elasticsearch)介绍
  01 es简介.mp4
  02 es核心概念.mp4
03 es部署、配置
  01 es单机版部署.mp4
  02 es集群版部署.mp4
  03 集群扩容.mp4
04 es插件
  01 es可视化管理插件es-head部署.mp4
  02 es可视化管理插件es-head使用.mp4
  03 es可视化管理插件cerebro部署.mp4
  04 es可视化管理插件cerebro使用.mp4
  05 X-Pack插件(加密使用)部署.mp4
05 es使用
  01 es操作的几种方式.mp4
  02 通过API创建索引.mp4
  03 通过API创建文档.mp4
  04 通过API查看索引.mp4
  05 通过API查看文档.mp4
  06 通过API删除索引.mp4
  07 通过API删除文档.mp4
  08 es集群健康检查.mp4
  09 es集群故障转移原理分析.mp4
  10 es集群故障转移案例演示.mp4
  11 es集群路由原理.mp4
  12 es集群文档检索、创建原理.mp4
06 kibana介绍
  01 kibana简介.mp4
07 kibana部署、配置
  01 kibana部署、配置.mp4
08 IK分词器
  01 IK分词插件部署.mp4
  02 IK分词插件使用.mp4
09 kafka介绍
  01 kafka简介.mp4
  02 kafka中一些关键的概念.mp4
  03 kafka优缺点、使用场景等.mp4
10 kafka部署、配置
  01 单机版部署.mp4
  02 集群部署.mp4
11 kafka使用
  01 常见操作命令.mp4
  02 kafka可视化插件部署.mp4
  03 kafka可视化插件使用.mp4
12 logstash介绍
  01 logstash简介.mp4
  02 工作原理.mp4
13 logstash部署、配置
  01 单机部署.mp4
  02 集群部署.mp4
14 logstash  Input插件
  01 logstash input插件之stdin.mp4
  02 logstash input插件之file.mp4
  03 logstash input插件之beats.mp4
  04 logstash input插件之exec.mp4
  05 logstash input插件之kafka.mp4
  06 logstash input插件之redis.mp4
  07 logstash input插件之tcp.mp4
  08 logstash input插件之syslog.mp4
  09 logstash input插件之udp.mp4
  10 logstash input插件之rabbitmq.mp4
  11 logstash input插件之jdbc.mp4
  12 logstash input插件之Generator.mp4
15 logstash Filter插件
  01 filter过滤器简介.mp4
  02 logstash filter通用参数之add_field.mp4
  03 logstash filter通用参数之add_tag.mp4
  04 logstash filter通用参数之remove_fie.mp4
  05 logstash filter通用参数之remove_tag.mp4
16 logstash filter插件之aggregate使用
  01 logstash filter插件之aggregate.mp4
17 logstash filter之grok插件使用
  01 grok插件之内置字段.mp4
  02 grok插件之自定义字段.mp4
  03 grok插件之match参数.mp4
  04 grok插件之overwrite参数.mp4
  05 grok插件之patterns_dir参数.mp4
  06 grok插件之tag_on_failure参数.mp4
18 logstash filter插件之alter
  01 logstash filter插件之alter-01.mp4
  02 logstash filter插件之alter-02.mp4
19 logstash filter插件之mutate使用
  01 mutate插件之rename参数.mp4
  02 mutate插件之remove_field、copy参数.mp4
  03 mutate插件之gsub参数.mp4
  04 mutate插件之split和join参数.mp4
  05 mutate插件之lowercase参数.mp4
  06 mutate插件之merge参数.mp4
  07 mutate插件之replace参数.mp4
  08 mutate插件之update参数.mp4
  09 mutate插件之capitalize、uppercas参数.mp4
  10 mutate插件其他参数(coerce、strip)及优先级.mp4
20 logstash filter之cidr插件使用
  01 logstash filter之cidr插件.mp4
21 logstash filter之drop插件使用
  01 logstash filter之drop插件.mp4
22 logstash filter插件之fingerprint
  01 logstash filter插件之fingerprint.mp4
23 logstash filter插件之http使用
  01 logstash filter插件之http.mp4
24 logstash filter插件之range
  01 logstash filter插件之range.mp4
25 logstash filter插件之ruby
  01 logstash filter插件之ruby.mp4
26 logstash filter插件之sleep
  01 logstash filter插件之sleep使用.mp4
27 logstash filter插件之split使用
  01 logstash filter插件之split.mp4
28 logstash filter插件之throttle使用
  01 logstash filter插件之throttle.mp4
29 logstash filter插件之truncate使用
  01 logstash filter插件之truncate.mp4
30 logstash filter插件之geoip使用
  01 logstash filter插件之geoip.mp4
31 logstash Output插件
  01 logstash output插件之stdout.mp4
  02 logstash output插件之elasticsearc.mp4
  03 logstash output插件之exec.mp4
  04 logstash output插件之email.mp4
32 kibana各功能模块使用
  01 kibana界面左边菜单栏功能介绍.mp4
  02 kibana过滤查询日志.mp4
33 kibana Visualize(可视化)案例
  01 饼图(Pie).mp4
  02 区域图(Area).mp4
  03 线图(Line).mp4
  04 热图(Heat Map).mp4
  05 坐标图(Coordinate Map).mp4
  06 量规图(Guage)、goal图.mp4
  07 单杠图(horizontal bar).mp4
34 filebeat介绍
  01 filebeat简介.mp4
  02 ELK Stack提供的其他Beats介绍.mp4
35 filebeat部署、配置
  01 filebeat部署.mp4
  02 filebeat基础配置.mp4
  03 filebeat配置优化.mp4