『字节青训营-4th-大数据』L16:走进 Yarn 资源管理和调度
相关链接
🎶 学员手册:【大数据专场 学习资料六】第四届字节跳动青训营 - 掘金
YARN 概述
初识调度系统
场景导入
一种简易分配模型
优化的分配模型
调度系统演进
调度系统发展的背景
调度系统解决的问题
调度系统预达的目标
调度系统模型
主要是前两者用的比较多
YARN 设计思想
演化背景
离线生态
面临挑战
YARN 整体架构
系统架构
任务运行生命周期核心流程
这里视频里讲得很清楚
Client 把任务提交到 Resource Manager,然后 RM 会拉起 AM
AM 再用心跳交互资源的申请和分配,再去拉起对应的节点
运行中,AM 会监控,运行结束后 AM 会向 RM 注销
核心模块
Resource Manager
整体架构
主要职责
状态机管理
RMApp 状态机
RMAppAttempt
RMContainer
RMNode
调度器分析
任务/资源组织
调度流程
典型调度器
Node Manager
整体架构
主要职责
状态机管理
Application
Container
LocalizedResource
节点健康检测机制
重要机制
调度策略
Fair Share 调度策略背景
Instantaneous Fair Share 定义
Instantaneous Fair Share 计算逻辑
DRF 调度策略
DRF 调查策略描述
DRF 调度策略计算逻辑
事件机制
状态机管理
事件处理模型
容错机制
公司实践
Gang 调度器
为什么要开发 Gang 调度器
Gang 调度器有什么典型特点
Gang 调度器调度流程
字节内部使用场景
反调度器
为什么需要开发反调度器
反调度流程
反调度器与 Gang 调度器关系
字节内部使用场景
单集群规模突破 50K
为什么需要提升单集群规模
RPC 瓶颈
Dispatcher 瓶颈
Scheduler 瓶颈
心跳反压机制
其他优化
课程总结
评论
GiscusTwikoo