击败LLaMA？史上超强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞

前段时间，初出茅庐的猎鹰（Falcon）在LLM排行榜碾压LLaMA，在整个社区激起千层浪。

但是，猎鹰真的比LLaMA好吗？

简短回答：可能不是。

Seede AI

AI 驱动的设计工具

713 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

符尧团队对模型做了更深入的测评：

「我们在MMLU上复现了LLaMA 65B的评估，得到了61.4的分数，接近官方分数（63.4），远高于其在Open LLM Leaderboard上的分数（48.8），而且明显高于猎鹰（52.7）。」

没有花哨的提示工程，没有花哨的解码，一切都是默认设置。

目前，Github上已经公开了代码和测试方法。

对于猎鹰超越LLaMA存疑，LeCun表态，测试脚本的问题...

LLaMA真·实力

目前在OpenLLM排行榜上，Falcon位列第一，超过了LLaMA，得到了包括Thomas Wolf在内的研究人员的力荐。

然而，有些人对此表示疑虑。

先是一位网友质疑，LLaMA这些数字从哪来，看起来与论文数字不一致...

随后，OpenAI科学家Andrej Karpathy也对LLaMA 65B为什么在Open LLM排行榜上的分数明显低于官方（48.8 v.s. 63.4）表示关注。

并发文，到目前为止，我一直避免在推特上发表关于猎鹰的文章，因为这一点，不确定。

为了弄清楚这个问题，符尧和团队成员决定对LLaMA 65B进行一次公开的测试，结果得到61.4分。

在测试中，研究者没有使用任何特殊机制，LLaMA 65B就能拿到这个分数。

这一结果恰恰证明了，如果想要模型实现接近GPT-3.5的水平，最好是在LLaMA 65B上使用RLHF。

根据就是，近来符尧团队发表的一篇Chain-of-Thought Hub论文的发现。

当然，符尧表示，他们这一测评并非想要引起LLaMA和Falcon之间的争端，毕竟这些都是伟大的开源模型，都为这个领域做出了重大的贡献！

另外，Falcon还有更加方便的使用许可，这也让它有很大的发展潜力。

对于这一最新测评，网友BlancheMinerva指出，公平的比较应该在默认设置下运行猎鹰（Falcon）在MMLU上。

对此，符尧称这是正确的，并正进行这项工作，预计在一天后可以得到结果。

不管最终的结果怎样，要知道GPT-4这座山峰才是开源社区真正想要追求的目标。

OpenLLM排行榜问题

来自Meta的研究人员称赞，符尧很好地再现了LLaMa的结果，并指出了OpenLLM排行榜的问题。

与此同时，他还分享了关于OpenLLM排行榜的一些问题。

首先，MMLU的结果：LLaMa 65B MMLU结果在排行榜上是15分，但对7B模型来说是一样的。13B、30B模型也存在较小的性能差距。

OpenLLM真的需要在公布哪个模型是最好的之前看看这个。

基准：这些基准是如何选择的？

ARC 25 shot和Hellaswag 10 shot似乎与LLM并不特别相关。如果能在其中加入一些生成式基准就更好了。虽然生成式基准有其局限性，但它们仍然是有用的。

单一平均分：将结果减少到单一分数总是很吸引人的，平均分是最容易的。

但在这种情况下，4个基准的平均值真的有用吗？在MMLU上获得1分和在HellaSwag上获得1分是一样的吗？

在LLM快速迭代的世界里，开发这样一个排行榜肯定有一定的价值。

还有来自谷歌研究人员Lucas Beyer也发表了自己的观点，

疯狂的是，NLP研究人员对同一个基准有不同的理解，因此导致了完全不同的结果。同时，每当我的同事实现一个指标时，我都会立即问他们是否真的检查将官方代码的完美重现，如果没有，就放弃他们的结果。

另外，他还表示，据我所知，无论模型如何，它实际上都不会重现原始基准测试的结果。

网友附和道，这就是LLM基准的现实...

Falcon——开源、可商用、性能强

说到Falcon，其实值得我们再好好回顾一下。

按LeCun的说法，大模型时代，开源最重要。

而在Meta的LLaMA代码遭泄之后，各路开发者都开始跃跃欲试。

Falcon正是由阿联酋阿布扎比的技术创新研究所（TII）开发的一支奇兵。

刚发布时从性能上看，Falcon比LLaMA的表现更好。

目前，「Falcon」有三个版本——1B、7B和40B。

TII表示，Falcon迄今为止最强大的开源语言模型。其最大的版本，Falcon 40B，拥有400亿参数，相对于拥有650亿参数的LLaMA来说，规模上还是小了一点。

不过，此前TII曾表示，别看咱Falcon规模虽小，性能却很能打。

先进技术研究委员会(ATRC)秘书长Faisal Al Bannai认为，「Falcon」的发布将打破LLM的获取方式，并让研究人员和创业者能够以此提出最具创新性的使用案例。

FalconLM的两个版本，Falcon 40B Instruct和Falcon 40B在Hugging Face OpenLLM排行榜上位列前两名，而Meta的LLaMA则位于第三。

而前文所讲的有关排行榜的问题也正是这个。

尽管「Falcon」的论文目前还没公开发布，但Falcon 40B已经在经过精心筛选的1万亿token网络数据集的上进行了大量训练。

研究人员曾透露，「Falcon」在训练过程非常重视在大规模数据上实现高性能的重要性。

我们都知道的是，LLM对训练数据的质量非常敏感，这就是为什么研究人员会花大量的精力构建一个能够在数万个CPU核心上进行高效处理的数据管道。

目的就是，在过滤和去重的基础上从网络中提取高质量的内容。

目前，TII已经发布了精炼的网络数据集，这是一个经过精心过滤和去重的数据集。实践证明，非常有效。

仅用这个数据集训练的模型可以和其它LLM打个平手，甚至在性能上超过他们。这展示出了「Falcon」卓越的质量和影响力。

此外，Falcon模型也具有多语言的能力。

它理解英语、德语、西班牙语和法语，并且在荷兰语、意大利语、罗马尼亚语、葡萄牙语、捷克语、波兰语和瑞典语等一些欧洲小语种上也懂得不少。

Falcon 40B还是继H2O.ai模型发布后，第二个真正开源的模型。

另外，还有一点非常重要——Falcon是目前唯一的可以免费商用的开源模型。

在早期，TII要求，商业用途使用Falcon，如果产生了超过100万美元以上的可归因收入，将会收取10%的「使用税」。

可是财大气粗的中东土豪们没过多长时间就取消了这个限制。

至少到目前为止，所有对Falcon的商业化使用和微调都不会收取任何费用。

土豪们表示，现在暂时不需要通过这个模型挣钱。

而且，TII还在全球征集商用化方案。

对于有潜力的科研和商业化方案，他们还会提供更多的「训练算力支持」，或者提供进一步的商业化机会。

这简直就是在说：只要项目好，模型免费用！算力管够！钱不够我们还能给你凑！

对于初创企业来说，这简直就是来自中东土豪的「AI大模型创业一站式解决方案」。

根据开发团队称，FalconLM 竞争优势的一个重要方面是训练数据的选择。

研究团队开发了一个从公共爬网数据集中提取高质量数据并删除重复数据的流程。

在彻底清理多余重复内容后，保留了 5 万亿的token——足以训练强大的语言模型。

40B的Falcon LM使用1万亿个token进行训练， 7B版本的模型训练token达到 1.5 万亿。

（研究团队的目标是使用RefinedWeb数据集从Common Crawl中仅过滤出质量最高的原始数据）

此外，Falcon的训练成本相对来说更加可控。

TII称，与GPT-3相比，Falcon在只使用75%的训练计算预算的情况下，就实现了显著的性能提升。

而且在推断（Inference）时只需要只需要20%的计算时间，成功实现了计算资源的高效利用。

以上就是击败LLaMA？史上超强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞的详细内容，更多请关注其它相关文章！

# 出了  # 南宁关键词优化排名  # 国外seo接单  # 嘉兴快手推广营销中心  # 恩施网站建设路冰店  # 全国营销推广团队有哪些  # 文创网站排版优化设计  # webpack怎样做seo  # 展会上推广新网站是什么  # seo怎么准确出词  # 宁乡广告营销推广招聘网  # 这就是  # 模型  # 中东  # 丰田  # 中国科学院  # 的是  # 榜上  # 这一  # 开源  # 史上  # llama  # hugging face  # 排行 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 元宇宙迈入2.0时代，它和生成式人工智能有何关联吗？  7大探索区域打造沉浸式玩乐“元宇宙” 昆明京东MALL未来科技探索官全城招募中  腾讯自主研发机器狗 Max 升级，可“奔跑跳跃”完成避障动作  CREATOR制造、使用工具，实现LLM「自我进化」  今年，全球客服中心支出将增长 16.2%，迎接对话式 AI 的浪潮，根据 Gartner 报告  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  自动驾驶汽车避障、路径规划和控制技术详解  映宇宙数字人“映映”亮相ChinaJoy，展示AI黑科技实现用户互动  探展WAIC | 第四范式“式说”聚焦toB大模型，布局生成式AI重构企业软件  阿里云推出通义万相AI绘画大模型  微盟宣布联合腾讯云共建行业大模型：加快激活AI大模型智能应用  英伟达CEO宣称生成式AI已迎来“划时代时刻”  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  外科医生的智能助手，“机器人手术”得到补充商业医保覆盖  兆讯传媒率先全面拥抱AI 数智广告内容焕发新生机  美图设计室2.0新增哪些功能  在心理治疗中用VR技术，治疗成效显著提高  国产医疗企业的人工智能  新闻传闻：迪士尼可能采用人工智能来控制电影制作成本  当TS遇上AI，会发生什么？  发布最新版本的 PICO OS 5.7.0：支持VR头盔录屏并跨平台分享至微信  研究发现AI聊天机器人ChatGPT不会讲笑话，只会重复25个老梗  AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能  美军AI无人机“误杀”操作员，人工智能要在军事领域毁灭人类？  当科幻走进现实 脑机接口新技术能为生活带来哪些惊喜？  微幼科技晨检机器人与人工晨检相比，有何优势  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  MIT开发“PhotoGuard”技术保护图像免遭恶意AI编辑  国内AI大模型“安卓时刻”到来！阿里云通义千问免费、开源、可商用  马斯克发推讽刺人工智能，机器学习本质是统计？  业内领先 四川大学华西第四医院甲状腺乳腺外科成功进入手术机器人时代  Nature封面：量子计算机离实际应用还有两年  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  ​日媒：AI高效解析纳斯卡地画  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  从谷歌到亚马逊，科技巨头们的AI痴迷  人工智能产业竞跑“未来赛道” 创新发展放大“赋能”效应  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  马斯克“揭秘”人工智能真面目  央视报道车载人机交互技术！MWC上海魅族表现亮眼，现场热火朝天  AI技术改变*，新骗局来袭，*成功率接近100%  鉴智机器人发布基于地平线征程5的标准视觉感知产品  AI遇上大运丨热身拉伸、娱乐K歌……AI智能健身镜将亮相成都大运会  黄仁勋：5年前，我们对AI抱有巨大期望  海南省公安机关警用无人机培训班结业并举行警航比武演练  零AI含量！纯随机数学无限生成逼真3D世界火了，普林斯顿华人一作  RoboNeo操作教程  OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作