【大数据】数据流计算环境下的集群资源管理技术（上）

数据流计算环境下的集群资源管理技术（上）2020-07-16摘要：摘要：以集群为基础的高性能计算的发展经历了3个阶段的演化，即计算子系统与存储子系统的分离、计算子系统与存储子系统的融合以及以数据并行为基础的dataflow编程模型。随着Spark、Flink等数据流编程模型在大数据计算领域的广泛使用，计算作业类型千变万化，如何保证各种数据流计算作业对集群资源的共享使用是集群资源管理的核心，也是降低基础设施成本的主要手段。分析集群资源管理的历史变化，从数据流编程模型的角度出发，对HoD、集中式、双层调度、分布式以及混合式管理展开了深入的探索，介绍了其各自的优缺点以及应用现状，为数据流计算环境下的集群资源管理和调度的使用或者研发提供一定的参考和借鉴。关键词：关键词：数据流模型，集群资源，调度框架，大数据11数据流计算环境下集群资源管理的发展历史数据流计算环境下集群资源管理的发展历史高性能计算机的动力源自各类科学计算对计算性能的迫切需求和解决生产问题的能力。20世纪80年代，计算机性能的纵向扩展，即计算机处理器性能的提高，受到了成本的挑战，每提高性能一次，其代价呈指数增加。故计算机性能的横