传媒行业快报：国产MoE模型优势显著，AI垂类应用迎增长

http://www.huajinsc.cn/1/3请务必阅读正文之后的免责条款部分2024年05月10日行业研究●证券研究报告传媒传媒行业快报行业快报国产国产MoE模型优势显著，模型优势显著，AI垂类应用迎增长垂类应用迎增长投资要点投资要点事件事件：：近日，幻方量化旗下AI公司深度求索（DeepSeek）发布全新第二代MoE大模型DeepSeek-V2。模型拥有2360亿参数，中文综合能力（AlignBench）超过GPT-4，与GPT-4-Turbo，文心4.0等闭源模型表现相近；英文综合能力（MT-Bench）与LLaMA3-70B表现相近，超过MoE开源模型Mixtral8x22B。数据库及算法革新有望改善大模型计算成本。数据库及算法革新有望改善大模型计算成本。模型基于8.1Ttoken组成的高质量、多源预训练语料库。该语料库与前代相比增加中文数据比重以及数据质量。结构优势：DeepSeek-V2对现存模型框架进行创新提出MLA架构，大幅减少计算量和推理显存；自研Sparse结构DeepSeekMoE进一步降低计算量，两者结合最终使每token成本大幅降低。价格优势：De