【大数据】大数据系统软件创新平台与生态建设（下）

大数据系统软件创新平台与生态建设（下）2019-03-0544领域大数据应用研发领域大数据应用研发——“——“1+X1+X””模式模式大数据技术在领域中的应用和落地涉及一个复杂的大数据全生命周期，包括大数据的采集提取清理（数据工程）、管理、分析、可视化等多个主要阶段，如图2所示。各阶段需要满足海量、异构、实时、人机交互等功能或性能需求。例如，大数据的采集通常是在多源异构环境中进行的，难以保证足够高的数据质量，而这种复杂性将会为大数据分析与建模带来不确定性甚至错误的结果。可见，大数据生命周期中各个阶段紧密相连、环环相扣，协作形成大数据应用解决方案。在大数据应用开发的过程中，数据工程师需要掌握多个阶段的大数据系统软件技术，根据领域的数据类型（时间序列、流程数据、非结构化数据等）、功能需求（采集、存储、计算、分析、展现等）和性能需求（如读写时延、并发量等），在大数据软件组件中选择恰当的构件，并手动进行配置和部署，然后在此基础上进行应用开发。随着大数据系统软件的复杂性不断增加，软件发布迭代的频率也越来越高，大量的手动配置、反复试错不能满足快速交付的需求。此外，在开源大数据生态系统上进行应用开