相关链接

🎶 学员手册：【大数据专场 学习资料三】第四届字节跳动青训营 - 掘金

概述

大数据与 OLAP 的演进

image-20220818222614302

image-20220818223118733

廉价机器：可以做到成本与性能的线性增长

存算分离：存储节点和计算节点可以不在一台物理机上

image-20220818223537551

image-20220818223832381

image-20220818224004913

预计算：用空间换时间

Presto 设计思想

image-20220818224154492

image-20220818224328483

小结

image-20220818224355969

Presto 架构原理与优化介绍

基础概念介绍

服务相关

image-20220818224538754

  • 黄色：数据源
  • 绿色（深和浅）：服务
  • 蓝色：用户

数据源相关

image-20220818224801146

Query 相关

image-20220818224938450

image-20220818225259561

数据传输相关

image-20220818225620626

image-20220818225817350

核心组件架构介绍

image-20220818225920962

服务发现

image-20220818230033049

通信协议

image-20220818230131638

image-20220818230335043

image-20220818230419053

image-20220818230517460

代表了我想要关闭（当前手上还有东西，设置为此状态时，不会再安排新 task ，设定一个超时时间，过后关闭）

小结

image-20220818230915979

Presto 重要机制

多租户资源管理

Case 介绍

image-20220818231322108

Resource Group

image-20220818231611658

image-20220818232047687

image-20220818232103579

（这里在解读代码）

多租户下的任务调度

物理计划生成

image-20220818232350774

image-20220819104606193

Stage 调度

image-20220819104649343

image-20220819104656675

image-20220819105017273

Task 调度

image-20220819105116322

image-20220819105158768

image-20220819105551663

实际使用中 90% 都是第3种

Split 调度

image-20220819105834961

image-20220819105923489

内存计算

image-20220819110301107

Pipeline 化数据处理

image-20220819110509446

反压机制

image-20220819110539300

多数据源联邦查询

image-20220819110707251

image-20220819110853083

小结

image-20220819111044542

性能优化实战

常用性能分析工具

image-20220819111340975

image-20220819111359508

image-20220819111547671

image-20220819111603584

阿里巴巴开源的一个线上查询工具

image-20220819111716622

image-20220819111802475

万物皆可火焰图（

image-20220819111846775

具体案例分析

Case 1

image-20220819111921997

image-20220819112027453

每一段上去都有一个 copy 方法

说白了就是这个函数有问题

image-20220819112112193

Case 2

image-20220819112232786

image-20220819112336987

某些情况下，正则表达式的匹配是非常耗时的

image-20220819130701188

字节内部优化实践

Multi Coordinator

image-20220819130808361

image-20220819130831560

History Server

image-20220819131022913

Support Remote UDF

image-20220819131156651

Raptor X 的多级缓存

image-20220819131242190

小结

image-20220819131350567