【大数据】大数据系统软件创新平台与生态建设（上）

大数据系统软件创新平台与生态建设（上）2019-03-05摘要：摘要：针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫切需求与工程化瓶颈，系统地介绍了大数据系统软件共性技术的研发思路以及大数据系统软件国家工程验室研制的“数为平台”的技术架构，包括大规模多源异构数据的一体化管理、异构数据的交互式分析框架、数据可视化与智能数据工程、大数据混源软件可信验证、领域大数据应用开发与运行环境等。给出了基于平台建设开放的大数据软件创新平台与生态的模式，并在工业制造业、气象环保服务领域开展应用示范。关键词：关键词：大数据系统软件，开源软件生态，领域大数据应用，国家工程实验室11引言引言大数据系统软件连接大数据计算平台与大数据应用软件，是大数据系统的基础。大数据系统软件对分布式硬件平台资源进行统一抽象，为大数据处理提供一体化存储管理、分析框架、全生命周期数据工程、安全保障等基础共性功能，为大数据应用提供开发运行环境，是大数据产业的“核心驱动程序”。国际大数据系统软件的发展以开源软件为主导方式，逐渐形成了以Hadoop、Spark、TensorFlow生态为代表的、支持大数据应用