简介
本系列是flink源码分析的第二个系列,上一个《flink源码分析之集群与资源》分析集群与资源,本系列分析功能组件,kubeclient,rpc,心跳,高可用,slotpool,rest,metrics,future。
本文解释slot管理组件,严格来说,slot管理组件不属于功能组件,而是业务组件,包括slotpool和slotmanage,资源消费者申请到资源后,在本地管有资源slot,避免资源管理器异常导致作业运行失败,同时资源管理器不可用也不会影响作业的继续执行,只有资源不足时才会导致作业执行失败。
slot管理组件也是实现声明式资源管理核心,值得我们细细分析。本文分析slotpool组件的分配/申请资源,slotpool组件II 分析声明式资源管理
slotpool组件
上图是slotpool组件的类图
slotpool组件负责对接资源管理器,分配和申请资源
– allocatePhysicalSlot 分配资源,申请可用资源后对资源分配
– requestNewAllocatedSlot 请求待定资源/新资源
slotpool组件也是flink声明式资源管理的核心
下面详细介绍slotpool组件的资源分配,申请资源和声明式管理资源
分配可用资源(simple allocator)
用户提交作业,分发器接收并分发作业到作业管理器,调度器确定所需资源,申请资源,检查当前可用资源是否足够,如果不足,请求新资源,动态增加资源;若足够,分配资源给任务。
分配还有另一个实现,slot sharing,有比较复杂的资源分配策略,分配策略跟本文主题无关,因此选了比较简单simple alloca服务器托管网tor
DeclarativeSlotPoolBridge桥接声明式资源池DeclarativeSlotPool,用声明式SlotPool实现SlotPool,为了简化描述,下面描述不区分DeclarativeSlotPoolBridge和DeclarativeSlotPool
1.调度器调用PhysicalSlotProvider的allocatePhysicalSlot分配资源
2. allocatePhysicalSlot首先tryAllocateFromAvailable,从当前可用资源分配;若当前可用资源不够请求新资源
3. tryAllocateFromAvailable调用DeclarativeSlotPoolBridge的
getAvailableSlotsInformation获取资源池的可用资源,其实际最终调用AllocatedSlotPool的getFreeSlotsInformation并组装为SlotInfoAndResources,该类组合了SlotInfo和ResourceProfile,前者是分配信息,后者是资源信息
4. SlotSelectionStrategy选择策略在可用资源选择一个最合适的,目前基于位置策略
5. 选出最合适的资源后,PhysicalSlotProvider调用DeclarativeSlotPoolBridge的allocateAvailableSlot分配资源,该方法不是实际分配资源,而是调用DeclarativeSlotPool的
increaseResourceRequirementsBy增加资源请求(声明),该方法触发异步处理资源请求,3.1notifyNewResourceRequirements深入分析
6. 最后保留资源,真正的分配在处理资源请求,保留资源AllocatedSlotPool的reserveFree服务器托管网Slot登记已分配资源AllocatedSlot
7. 最后调整资源,保留不一定是最终分配,最终分配后调整实际资源情况
最后分析一下
notifyNewResourceRequirements
3.1 notifyNewResourceRequirements
notifyNewResourceRequirements类型Consumer,函数方法
图1
上图是notifyNewResourceRequirements设置和调用的方法,函数是怎么设置?
图2
图1是图2的 connect调用,设置模板S,即service属性
设置方法是哪里调起?
1.ResourceManagerLeaderListener监听资源管理器选主,获取新主节点的地址
2.ResourceManagerLeaderListener通知JobMaster,调用JobMaster的notifyOfNewResourceManagerLeader方法
3.notifyOfNewResourceManagerLeader启动rpc(重新)连接
4. rpc连接后,触发onRegistrationSuccess事件方法,然后
DeclarativeSlotPoolService的connectToResourceManager方法,而后者即图1,设置Conumer
总结,请求新资源主要是调用资源管理器的declareRequiredResources方法,该方法用
ResourceManagerLeaderListener和DeclareResourceRequirementServiceConnectionManager绕一下,是为了适应分布式环境下资源管理器上线下线,主节点选举后获取新主的地址,重新连接后设置ResourceManagerGateway。
请求新资源(request new slots)
请求新资源是分配资源的延申,当前没有足够的可用资源,调度器请求新的资源
类图跟申请和分配资源基本相同,场景实现由相同的类实现
1.调度器在分配资源没有获得足够可用资源,
调用SlotPool的requestNewAllocatedSlot,请求新的资源;这里的SlotPool是DeclarativeSlotPoolBridge桥接 DeclarativeSlotPool实现的SlotPool,实现声明式管理的资源池,下面不区分两者
2.DeclarativeSlotPoolBridge调用
increaseResourceRequirementsBy增加资源请求,触发检查资源请求
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
相关推荐: Vite4+Typescript+Vue3+Pinia 从零搭建(7) – request封装
项目代码同步至码云 weiz-vue3-template 基于 axios 封装请求,支持多域名请求地址 安装 npm i axios 封装 utils 目录下新建 request 文件夹,并新建 index.ts、request.ts 和 status.ts…