【大数据】大数据场景中语言虚拟机的应用和挑战

大数据场景中语言虚拟机的应用和挑战2020-10-19摘要：摘要：语言虚拟机为大数据应用提供了与平台无关的执行环境，简化了应用的开发和部署，因此在大数据场景中得到了较广泛的应用。主要分析了两种主流语言虚拟机——JVM和CLR在大数据场景中的应用，并阐述了使用语言虚拟机面临的4个挑战：初始化及“热身”开销、垃圾回收暂停、异构内存支持、数据格式转换。之后，分别针对4个挑战讨论了现有的解决方案，并分析了这些方案的不足之处及未来可能的优化方向。关键词：关键词：语言虚拟机，垃圾回收，异构内存基金项目：国家自然科学基金资助项目（No.61672345）11引言引言随着大数据时代的到来，对数据分析和处理的需求催生出了一系列大数据处理系统，通过调度集群内的硬件资源，以高并发、分布式的方式处理数据。语言虚拟机（languagevirtualmachine）也被称为管理运行时环境（managedruntimeenvironment），它为应用进程提供了与平台无关的执行环境，使应用具有良好的可移植性，适合在分布异构的环境中使用。同时，语言虚拟机还为应用提供了类型检查、垃圾回收、即时编译等功能，减轻了应用的