【大数据】大数据在政府统计中的应用、瓶颈及融合路径（下）

大数据在政府统计中的应用、瓶颈及融合路径（下）2019-03-07（二）主要方法思路大数据体量大、频率高、可变性强，具有很大的不确定性，事先无法设置确定的变量关系模式，因此大数据应用不能再现传统统计生产过程，也不能运用传统的统计方法来处理，而主要依赖各种算法来挖掘发现大数据的规律特征，通过建模方法进行统计估算和推断。大数据统计推断的技术可行性、方法合理性以及结果的有效性，是评估判断大数据统计应用是否成功的重要依据。在认定大数据的统计价值和成本效益之后，大数据的统计应用通常须经过3个阶段：一是大数据处理，包括数据存储和管理、数据源质量评估、数据结构转换、数据清洗和异常值检测等；二是大数据分析，通过机器学习、网络分析、模式识别和可视化展示等数据挖掘技术，寻找发现数据特征、相关关系和变化规律，在此基础上进行统计汇总和统计推断，衡量经济社会现象的规模、水平、速度、比例关系，预测预判变化趋势；三是结果评估，从统计专业角度对数据结果进行科学性审查，从经济社会角度对数据结果进行合理性和可解释性评估，并与其他结果进行相互验证，确保统计结果真实准确可靠。大数据统计应用的方法很多也很复杂，具体方法取决于