苹果芯跑大模型不用降计算精度，投机采样杀疯了，GPT-4也在用

code llama一出，大家都期待有人能继续进行量化瘦身，幸好它可以在本地运行

果然是llama.cpp作者Georgi Gerganov出手了，但他这回不按套路出牌：

在不进行量化的情况下，即使使用FP16精度，Code LLama的34B代码也能在苹果电脑上运行，并且推理速度超过每秒20个token

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

现在只需使用具有800GB/s带宽的M2 Ultra，就可以完成原本需要4个高端GPU才能完成的任务，而且编写代码的速度也非常快

老哥随后揭示了秘诀，答案非常简单，就是进行投机采样（speculative sampling/decoding）

图片

触发了许多行业大咖的关注

OpenAI创始成员Andrej Karpathy评价这是一种非常出色的推理时优化，并给出了更多技术解读。

范麟熙，一位英伟达科学家，也认为这是每个从事大模型工作的人都应该熟悉的技巧

图片

GPT-4也在用的方法

在使用投机采样的人不仅限于本地运行大型模型的人，谷歌和OpenAI等超级巨头也在使用该技术

根据之前泄露的资料，GPT-4就用了这个方法来降低推理成本，不然根本承受不起这么烧钱。

图片

而最新爆料表示谷歌DeepMind联手开发的下一代大模型Gemini很可能也会用。

尽管OpenAI的具体方法保密，但谷歌团队已经发布了相关论文，并且该论文入选了ICML 2025口头报告

图片

方法很简单，先训练一个与大模型近似、更便宜的小模型，让小模型先生成K个token，然后让大模型去做评判。

大模型可以直接使用已接受的部分，并由大模型修改不接受的部分

在原始的研究中，使用了T5-XXL模型进行演示，并且在保持生成结果不变的情况下，获得了2-3倍的推理加速

图片

Andjrey Karpathy把这个方法比喻成“先让小模型打草稿”。

他解释了这个方法有效的关键之处在于，将大型模型分别输入一个token和一批token，预测下一个token所需的时间几乎相同

每个token都依赖于前一个token，因此在正常情况下无法同时对多个token进行采样

小模型虽然能力较差，但实际生成一个句子时有很多部分是非常简单的，小模型也能胜任，只有遇到困难的部分再让大模型上就好了。

网易人工智能

网易数帆多媒体智能生产力平台

233 查看详情

原论文指出，可以直接加速现有的成熟模型，而无需改变其结构或重新进行训练

对于不会降低精度这一点，在论文附录部分也给出了数学论证。

图片

了解了原理，再来看Georgi Gerganov这次的具体设置。

他使用4bit量化的7B模型作为“草稿”模型，每秒约能生成80个token。

FP16精度的34B模型单独使用时，每秒只能生成10个token

在使用投机采样方法之后，我们获得了2倍的加速效果，这与原论文中的数据相一致

图片

他额外表示，速度可能会根据生成的内容而有所不同，但在代码生成上非常有效，草稿模型能猜对大多数token。

图片

最后，他还建议Meta以后在发布模型时直接把小的草稿模型附带上吧，受到大伙好评。

图片

作者已创业

Georgi Gerganov是作者，他在今年三月将LlaMA的第一代移植到了C++上。他的开源项目llama.cpp已经获得了接近4万颗星星

图片

他最初只是把这个当作一个业余兴趣，但由于反响热烈，他在6月份宣布创业

新公司ggml.ai致力于在边缘设备上运行AI。该公司的主打产品是llama.cpp背后的C语言机器学习框架

图片

在创业初期，我们成功获得了来自GitHub前首席执行官Nat Friedman和Y Combinator合伙人Daniel Gross的种子前投资

LlaMA2发布后他也很活跃，最狠的一次直接把大模型塞进了浏览器里。

图片

请查看谷歌的投机采样论文：https://arxiv.org/abs/2211.17192

参考链接：[1]https://x.com/ggerganov/status/1697262700165013689 [2]https://x.com/karpathy/status/1697318534555336961

以上就是苹果芯跑大模型不用降计算精度，投机采样杀疯了，GPT-4也在用的详细内容，更多请关注其它相关文章！

# 代码  # gpt-4  # 他在  # 情况下  # 出了  # 获得了  # 的人  # 老照片  # 网易  # 也在  # llama  # gemini  # 苹果  # 自己的  # 北宁网站优化排名  # 唐山营销网络推广一体化  # seo每天发什么  # 自主品牌茶叶推广营销  # 宁都网站关键词推广  # 芜湖网站排名优化公司  # 高校邦营销型网站建设  # 网站交付能力优化  # 荔湾区展示型网站优化  # 泸州成都网站建设总部  # 可以直接 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 新华全媒+｜AI：当心，我可能欺骗了你！  全新小艺搭载AI大模型，有效提升学生和职场人士的工作效率  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  机构：边缘AI或是当前预期差最大的AI方向  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  国产医疗企业的人工智能  击败LLaMA？史上超强「猎鹰」排行存疑，符尧7行代码亲测，LeCun转赞  Meta将VR头显最低年龄限制从13岁降至10岁  2025 WAIC｜美团无人机发布第四代新机型  30+大模型齐聚，大模型成世界人工智能大会“顶流”  用人工智能技术，亚马逊为用户生成产品评论摘要，帮助他们轻松选购  华为昇腾AI原生支持30多种基础大模型，包括GPT  全媒封面丨⑤商汤科技：原创AI算法“发电厂”  pixivFANBOX 更新运营规则，禁止通过外链绕开 AI 生成禁令  华为盘古AI模型实现秒级全球气象预报时间缩短  “风乌”气象大模型科学家团队：用AI预报极端天气未来不是梦！  AI 程序 Text With Jesus 在海外迅速受到关注：与耶稣和撒旦进行对话  华为AI大模型将融入HarmonyOS 4  西班牙小鲜肉*视频在网上疯传，本人发文澄清：是AI换脸的假视频！  国内通用人形机器人将发布、产业加速突破  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了  传字节内测对话式 AI 产品，代号「Grace」；马斯克嘲讽苹果 头显；比亚迪 F 品牌定名「方程豹」  人工智能驱动智能建筑会是未来趋势吗？  参考封面|人工智能“淘金热”  美图发布国内首个“懂美学的”AI视觉大模型MiracleVision  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  阿里云全面支持Llama2训练部署，助力企业快速构建自有大型模型  彬州市第三届青少年机器人创新大赛成功举办  轻量级的深度学习框架Tinygrad  史玉柱谈AI：国内最缺是计算数学人才，曾给浙大数学系捐五千万  人工智能时代的科幻译者怎么办？“做好翻译工作的高端10%”｜文化观察  《上古卷轴5》AI高清材质包优化游戏中所有怪物  联想创投携手12家被投企业MWC展示元宇宙、机器人等技术  一公司推出喷火机器狗，可喷出 9 米长火焰  MetaGPT开源框架爆红 GitHub，达到1.1万星，模拟软件开发流程  ChatGPT设计出的第一个机器人来了！【附人工智能行业预测】  自动驾驶汽车避障、路径规划和控制技术详解  华为即将推出HarmonyOS 4，再度领先行业的AI技术  360发布AI数字人广场，可同孙悟空、爱因斯坦等古今中外角色对话  映宇宙数字人“映映”亮相ChinaJoy，展示AI黑科技实现用户互动  一次购买全年省心，入手科沃斯这几台机器人，省下时间就是金钱  三星加速AR眼镜进程，预计明年上半年亮相  参议院司法听证会：AI 不易管控，有可能被恶意分子利用来研发生化武器  AI时代，企业需要什么样的员工？  人工智能在服务优化方面优缺点有哪些  面向AI大模型，腾讯云首次完整披露自研星脉高性能计算网络  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景