【大数据】大规模异构数据并行处理系统的设计、实现与实践

大规模异构数据并行处理系统的设计、实现与实践2020-10-19摘要：摘要：随着互联网和物联网应用的快速发展，数据处理模式从结构化逐渐扩展到结构化、半结构化和非结构化混合的异构数据处理模式。设计了一种大规模异构数据并行处理系统，在统一的平台功能视图基础上，采用统一的资源管理框架，实现对结构化、JSON/XML、图数据、文档数据等多种异构数据进行存储和查询，采用统一的开发语言，实现跨数据类型和数据存储引擎的并行计算，满足多业务应用开发的需要，并通过实际的商业部署，验证了系统的可行性。关键词：关键词：并行系统，异构数据，统一架构11引言引言随着互联网和物联网应用的快速发展，数据呈现爆发式增长趋势，一方面数据规模的膨胀导致传统的关系型数据库无法满足存储和查询的实时性要求，另一方面数据结构出现多样化，各种不同类型的数据库并行交互，数据流转和融合处理难度加大，成本上升。为了满足企业数字化转型的需求，政府和大中型企业一方面需要在确保安全和隐私的前提下开放自身的业务数据，另一方面需要接入大量的互联网、物联网数据，提升数据的代表性和泛化能力，为此需要为数据共享和分析规划统一的大规模异构数据处理平台，