【大数据】数据流计算环境下的集群资源管理技术（中）

数据流计算环境下的集群资源管理技术（中）2020-07-163.3双层调度在集中式资源管理框架中，资源调度和任务调度是紧耦合的，任务调度不灵活。双层调度将任务调度和资源调度完全分割，采用松散耦合的方式，主节点只负责各个应用框架的资源分割与分配，应用框架自己根据逻辑，在获得的计算资源上调度任务。与集中式资源管理框架不同，双层资源管理结构把任务调度从资源管理中分离出去，由应用程序自身负责，因此大大提高了任务调度的灵活性。但是这也使得各个应用程序之间无法得到全局的资源状态。3.3.1典型系统MesosMesos调度资源管理框架如图3所示。系统由一个Mesos主服务和运行在不同计算节点上的从服务程序组成。运行在资源管理上的编程框架由两部分组成：计算框架（FW）和执行器。计算框架调度器负责向主服务注册，并获得计算资源，执行器被发送到各个计算节点，用来运行编程框架的任务。Mesos主服务的主要任务是向各个计算框架提供资源清单。资源清单的内容是多个从服务节点上的可用资源的列表。图3中的第①步，集群节点从服务1向主服务提供4个CPU以及4GB的主机内存。主服务上的调度器向计算框架1提供这些空闲资源。