相关链接

🎶 学员手册：【大数据专场 学习资料一】第四届字节跳动青训营 - 掘金

Flink 概述

什么是大数据

image-20220814103915315

大数据计算架构发展历史

image-20220814104429535

Hadoop 那里就是谷歌发的 3 篇论文，GFS， Map-Reduce 等

为什么需要流式计算

image-20220814104741495

image-20220814104805579

简单地说，就是业内需要流式计算，然后就有了 Flink

流式计算引擎发展历程

image-20220814105009496

流式计算引擎对比

image-20220814105057810

  • At Least Once ：能保证数据至少能被处理一次
  • At Most Once ：数据最多被处理一次（可能没处理到）

StateFul：不再依赖外部系统存储状态

image-20220814105641983

牛啤一体可还行（

image-20220814105722912

最左边：Flink 可以高性能地使用很多存储引擎

中间框：内部架构设计，下面会说

下面：部署模式

上面：基于 Flink 的其他框架

Flink 整体架构

image-20220814110211560

最上面： SDK

  • SQL 相关 API
  • Stream 相关 API
  • python 的 API

中间：执行引擎层

image-20220814110514839

这张图很重要，必须要熟悉

首先你的代码会在客户端转为一张 DAG 图（逻辑执行图），然后发给 JM ，JM 转为物理执行图，并且根据这个图把不同的 task 调度到各个的 TM 中执行

image-20220814110941378

slot：插槽

这个示例就是一个 hello world 类示例

image-20220814111226165

image-20220814111524379

image-20220814111551801

image-20220814111853883

image-20220814112021283

每个 Slot 是单独的一个线程在执行

为什么需要流批一体

image-20220814112533818

image-20220814112622625

image-20220814112723103

流批一体的挑战

image-20220814112813477

image-20220814112827157

image-20220814112909864

image-20220814112934921

image-20220814113022541

image-20220814113032355

流批一体的 Scheduler 层

image-20220814113148381

image-20220814113155870

image-20220814113438549

12 个（

image-20220814113540756

下面是最新的调度机制

image-20220814113621123

image-20220814113709614

BLOCKING：数据不是实时传过去的，执行完先落盘，然后可以释放该节点的资源，分给下个节点

PIPELINED：不落盘

流批一体的 Shuffle Service 层

Shuffle：用来连接上下游交换数据的过程

image-20220814113931350

image-20220814114151592

image-20220814114342967

image-20220814114442649

image-20220814114503988

image-20220814114525258

image-20220814114711217

Flink 架构优化

流/批/OLAP 业务场景概述

image-20220814114841482

image-20220814114848064

image-20220814114920866

image-20220814114929550

为什么三种场景可以用一套引擎解决

image-20220814115004410

image-20220814115042615

image-20220814115111521

image-20220814115243200

image-20220814115334025

image-20220814115409793

image-20220814115606501

image-20220814115656885

image-20220814115837876

image-20220814115846461

总结

image-20220814115920773

精选案例讲解

电商流批一体实践

image-20220814120037832

image-20220814120057002

image-20220814120118799

image-20220814120134745

image-20220814120221055

image-20220814120242890

课程总结

image-20220814120416153