引入国产开源MoE大模型，其性能媲美Llama 2-7B，同时计算量减少了60%

开源moe模型，终于迎来首位国产选手！

它的表现完全不输给密集的Llama 2-7B模型，计算量却仅有40%。

这个模型堪称19边形战士，特别是在数学和代码能力上对Llama形成了碾压。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

它就是深度求索团队最新开源的160亿参数专家模型DeepSeek MoE。

除了性能上表现优异，DeepSeek MoE主打的就是节约计算量。

在这张表现-激活参数量图中，它“一枝独秀”地占据了左上角的大片空白区。

发布仅一天，DeepSeek团队在X上的推文就有大量转发关注。

JP摩根的机器学习工程师Maxime Labonne测试后也表示，DeepSeek MoE的chat版本表现要略胜于微软的“小模型”Phi-2。

同时，DeepSeek MoE还在GitHub上获得了300+星标，并登上了Hugging Face文本生成类模型排行榜的首页。

那么，DeepSeek MoE的具体表现究竟怎么样呢？

计算量减少60%

DeepSeek MoE目前推出的版本参数量为160亿，实际激活参数量大约是28亿。

与自家的7B密集模型相比，二者在19个数据集上的表现各有胜负，但整体比较接近。

而与同为密集模型的Llama 2-7B相比，DeepSeek MoE在数学、代码等方面还体现出来明显的优势。

但两种密集模型的计算量都超过了180TFLOPs每4k token，DeepSeek MoE却只有74.4TFLOPs，只有两者的40%。

在20亿参数量时进行的性能测试显示，DeepSeek MoE同样能以更少的计算量，达到与1.5倍参数量、同为MoE模型的GShard 2.8B相当甚至更好的效果。

此外深度求索团队还基于SFT微调除了DeepSeek MoE的Chat版本，表现同样接近自家密集版本和Llama 2-7B。

此外，深度求索团队还透露，DeepSeek MoE模型还有145B版本正在研发。

TTSMaker

TTSMaker是一个免费的文本转语音工具，提供语音生成服务，支持多种语言。

2275 查看详情

阶段性的初步试验显示，145B的DeepSeek MoE对GShard 137B具有极大的领先优势，同时能够以28.5%的计算量达到与密集版DeepSeek 67B模型相当的性能。

研发完毕后，团队也将对145B版本进行开源。

而在这些模型表现的背后，是DeepSeek全新的自研MoE架构。

自研MoE新架构

首先是相比于传统的MoE架构，DeepSeek拥有更细粒度专家划分。

在总参数量一定的情况下，传统模型分出N个专家，而DeepSeek可能分出2N个。

同时，每次执行任务时选择的专家数量也是传统模型的2倍，所以总体使用的参数量也不变，但选择的自由度增加了。

这种分割策略允许更灵活和适应性的激活专家组合，从而提高了模型在不同任务上的准确性和知识获取的针对性。

除了专家划分上的差异，DeepSeek还创新性地引入了“共享专家”的设置。

这些共享专家对所有输入的token激活，不受路由模块影响，目的是捕获和整合在不同上下文中都需要的共同知识。

通过将这些共享知识压缩到共享专家中，可以减少其他专家之间的参数冗余，从而提高模型的参数效率。

共享专家的设置有助于其他专家更加专注于其独特的知识领域，从而提高整体的专家专业化水平。

消融实验结果表明，这两个方案都为DeepSeek MoE的“降本增效”起到了重要作用。

论文地址：https://arxiv.org/abs/2401.06066。

参考链接：https://mp.weixin.qq.com/s/T9-EGxYuHcGQgXArLXGbgg。

以上就是引入国产开源MoE大模型，其性能媲美Llama 2-7B，同时计算量减少了60%的详细内容，更多请关注其它相关文章！

# 开源  # 人工智能  # 腾讯  # 太多  # 丰田  # 本田  # 首个  # 来了  # llama  # hugging face  # deepseek  # moe模型  # 闲鱼推荐关键词优化排名  # 沈阳seo营销推广新手seo  # 开封营销推广技巧  # 晴隆县营销推广  # 丰台百度seo  # 蕲春网站建设方案  # 天津营销推广服务价格  # 5g在线seo综合查询  # 靖江网站优化怎么做  # 东莞推广运营营销策划  # 同为  # 中国  # 到你 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  贫穷让我预训练  国内AI大模型“安卓时刻”到来！阿里云通义千问免费、开源、可商用  编程已死，AI 当立？教授公开“唱反调”：AI 还帮不了程序员  AI工具助力公司实施每周4.5天工作制，带来巨大效益  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  Bing Chat 和 Bing Search 正式引入深色模式  对话式论文阅读工具PaperMate上线，综述细节AI告诉你  人工智能助力精准学习，猿辅导小猿学练机满足学生个性化学习需求  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  美版贴吧8000小组自爆停摆！拒绝数据被谷歌OpenAI白嫖，CEO被网友骂翻：背刺第三方应用  斑马推出全新升级版思维机：以人工智能为核心的交互式学习体验  无人机在电力巡检中的应用：全面解析高效巡检流程  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  AI 作画工具 Midjourney 推出“pan”功能，可平移扩展图片外场景  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  普渡机器人与变形金刚品牌合作，特别活动爆火，商品售罄！  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  OpenAI CEO 阿尔特曼到访日本，对全球 AI 协调合作表示乐观  联想戴炜：以全栈AI加速CT与IT融合，共建高质量算力网络  人工智能“Aria”现身 Opera浏览器100版本更新：新功能“标签岛”  人工智能在商业中的风险和局限性  社区里，孩子们体验“机器人竞技”  【|直播|预告】人工智能高峰论坛将于7月2日13:30准时开播！  WHEE网页地址入口  微软AR/VR专利提出使用时间复用谐振驱动产生双极性电源  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  Zoom远程会议应用：AI培训需经用户授权  了解 AGI：智能的未来？  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  万魔推出AI主攻的运动耳机，开启十年研发新纪元  Meta开源文本生成音乐大模型，我们用《七里香》歌词试了下  WPS AI 官网上线：可申请体验官资格，支持 Windows、安卓端下载  华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来  人工智能改变网络安全和用户体验的三种方式  微软大牛加入ZOOM，AI人才大战打响  Vision Pro头显重磅发布；苹果收购AR厂商Mira  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  构建人机交互创新模式，微美全息研究AIGC智能交互界面生成技术  速途网络成立“人工智能专家委员会”5位中美博士加盟  田渊栋团队新研究：微调  喜马拉雅在国际会议挑战赛中突破语音重叠难题斩获第一 加速AI创新  特斯拉首发人形机器人“擎天柱”亮相世界人工智能大会  AI大模型紫东太初已被注册商标 中科院已注册紫东太初大模型商标  OpenOOD更新v1.5：全面、精确的分布外检测代码库及测试平台，支持在线排行榜、一键测试  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  网友自制 AI 版《流浪地球 3》预告片，登上 CCTV6