蒸馏风暴：AI 公司不愿公开讨论的技术较量

本页 /desnewsHMQUQdh2G

有人以为，这是一种不面子的偷窃行为。也有人以为，这是少数当先者为了自身利益而臭名化的对象，它自身只是一种优化伎俩。 和它有关的变动与事务有：开源模型逼近最强关源模型；美国 77 家公司签署公开信，否决仓皇限度开源模型；Anthropic 两次责怪中国公司以大量诓骗账户套取数据；15 亿美元的侵权诉讼和解；张一鸣在字节 Seed 全员会上关于 “不蒸馏” 的正面回应…… 这种诞生多年的技术，在 2026 年反复被提及、会商，也被误会和误会。蒸馏到底是什么？大规模蒸馏若何实现？蒸馏能否成为一个模型研发团队的壁垒？它的价值又是什么？ 我们访谈了来自分歧公司的近十位模型领域钻研员、从业者，也结合公开钻研和技术汇报，还原蒸馏的从前、近况，和它在带来的更多扭转。 此刻处于争议中的那种蒸馏，即让模型变强的蒸馏，技术上是一种获得高质量数据的方式：即反复向一个更强的 “老师模型” 提问，得到回覆，再用这些 “标题—回覆” 数据对训练另一个 “学生模型”，让后者达到相近的阐发。 蒸馏的设法由来已久。2015 年，刚参与 Google Brain 不久的 Geoffrey Hinton，与其时 Google Brain 的掌管人 Jeff Dean 和年轻钻研员 Oriol Vinyals 一路颁发了《神经网络中的知识蒸馏》（Distilling the Knowledge in a Neural Network），第一次把之前出现的模型压缩（Model Compression，2006）等思路总结为蒸馏，Distillation。 那时距离 Google 提出 Transformer（如今大说话模型的架构基。┗褂薪 2 年半，Hinton 他们把蒸馏的思路用到了图像鉴别模型：步骤是，让学生模型进建老师模型输出的概率散布。好比鉴别猫是猫，这对深度进建是一个统计过程：0.7 是猫，0.2 是狐狸，0.1 是狗→ 是猫。 这种蒸馏通常产生在统一组织内，它的启程点不是变强，而是 “压缩”——用较幼参数的模型逼近更大参数模型的能力。这会损失一些机能，但能让推理更快、更便宜。 好比在自动驾驶领域，就会先做出机能更强的云端大模型，再用蒸馏、剪枝等步骤，让它造成能在车端芯片上跑的更幼的模型。梦想、幼鹏等公司都有这类实际。 更近的例子是 2025 年岁首的 DeepSeek-R1。其时 DeepSeek 还同时颁布了六个幼尺寸的蒸馏模型，它们的老师模型都是总参数 6710 亿的 R1 自身。学生模型中，4 个以阿里的 Qwen2.5 为底座，2 个以 Meta 的 Llama 3 为底座，参数量最幼 15 亿，最大 700 亿。 DeepSeek 先让 R1 天生约 60 万条 “标题—推理过程—答案” 的推理数据和约 20 万条非推理数据，再在后训练阶段用这些数据去监督微调（SFT）6 个幼的基座模型。这些模型都获得了更强的推理能力。 在为了压缩的主张中，蒸馏是一个中性的技术步骤，而到 2026 年 2 月，Google 和 Anthropic 陆续发文，将 “蒸馏” 和 “攻击” 并用，直指部门公司利用蒸馏进行不正当竞争。 Anthropic 别离在 2 月和 6 月称 DeepSeek、月之暗面（Kimi）、MiniMax 和阿里千问（Qwen），总计通过约 5 万个诓骗账户与 Claude 进行了超 4480 万次交互，试图提取 Claude 的能力。（2 月：Detecting and preventing distillation attacks，6 月：Anthropic 致美国参议院的信。）被提及的公司未作出正面回应。 序列级蒸馏不再进建模型每一步输出的概率散布，而是让老师模型先天生高质量译文，再让学生模型进建齐全的 “原文-译文” 序列对。 提出这个技术，正本是为了压缩重大的翻译模型，提高解码速度，但它也带来一个成效：就是让蒸馏不再必要知路老师模型逐步输出的概率散布，能够只看 “最终答案” 就实现蒸馏。 - 在模型的推理（inference）阶段，即模型使用阶段，用更多测试时推算让模型在回覆复杂问题时天生更长的思想链，可让模型阐发持续提升。 这两个变动都能放大蒸馏的成效：首先大规模蒸馏是一种重要用在后训练阶段的步骤，后训练沉要性提升，蒸馏的投入回报也提升。同时，测试时推算让模型在产出最终回覆表，也产出思想链和推理轨迹（蕴含思想链、工具挪用、搜索过程和纠错过程等）等长推理过程。这些产出可被作为蒸馏的数据原料。 首先，蒸馏过程重要使用的是 R1 天生的 “标题-推理过程-回覆” 数据对。这是目前蒸馏最梦想的状态，成效比只有 “标题-回覆” 的数据对更好。 本周一（8 月 10 日），德国图宾根大学等机构的钻研者颁布了《从关源大说话模型 API 中盗取推理轨迹》（Stealing Reasoning Traces from Proprietary LLM APIs）一文，展示了他们发现的还原推理轨迹的一些步骤。 这性质是由于，它们都是模型输出的一部门，是模型使用阶段的产品，只有你去用一个模型，思想链和推理过程就会被天生，会留下痕迹。这仍属于黑盒蒸馏和硬蒸馏。 我们证了然能够将大模型的推理模式蒸馏到幼模型中，这比幼模型通过强化进建习得的推理模式有更优的机能。——R1 技术汇报 固然这是一个特定尝试下的了局，不愿定能表推到所有情景，但仍是一个很有吸引力的发现。由于长步数强化进建的训练难度本就高于监督微调，它对 Infra 有更多要求，速度往往也更慢、算力成本更高。 多位从业者称，近期出现的一些实际是，在后训练阶段重要做监督微调，险些不做或做很少的强化进建，也能够获得很好的成效。 On-policy 和 off-policy（离线战术）蒸馏的区别在于数据由谁天生。前面提到的让模型进建另一个关源模型的蒸馏，无数是 off-policy 蒸馏，数据由老师模型天生；而 on-policy 蒸馏是让学生模型天生推理和回覆，老师模型提供反馈。反馈可所以逐个 token 天生的散布概率（白盒），也可所以对推理轨迹和回覆作评价（黑盒）。 幼米在今岁首的 MiMo V2-Flash 技术汇报中介绍了 MOPD（多老师 on-policy 蒸馏）步骤，6 月又颁布了单独的文章（Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training）：先别离训练数学、代码、工具挪用等方向的老师模型，再让学生模型自己天生轨迹，按工作接受分歧老师的反馈。它要解决的是一个后训练的新问题：若是直接把多个方向的能力混在一路做强化进建，；峄ビ泄厝拧⒋讼顺。 实际中，各公司能够先从获得授权的用户使用行为中筛选出高质量的真实提问，而后再基于这些真实提问扩增更多 AI 天生的提问，更高频地去问老师模型，获得更多回覆。这就像，你吓仔一些酵母（真实数据），再用它发酵出更大的面团。 整个蒸馏流程里，还有好多具体步骤都能够用到 AI，好比从海量真实提问里筛选高质量标题，评估 “何谓高质量数据”，提升合成数据的多样性……有些环节能够用模型来做，有些能够用越来越强的 AI 编程能力更快机关和改进各类系统来加快和优化。 萦绕 “蒸馏” 的会商也逐步走出了 AI 技术圈，在传布中被简化、误会，甚至误会。蒸馏不再是一个单纯的技术议题，它走向了风暴中心。 前文已反复提到，让大说话模型变强的蒸馏重要产生在后训练（也蕴含中训练）阶段。而一个模型的整体成效来自预训练到后训练的齐全训练过程。通常以为，预训练的沉要性更大。 在 DeepSeek-R1 的技术汇报中，同样是用 80 万条 R1 数据做蒸馏，Qwen2.5-32B 基座模型经过蒸馏后，在 AIME 2024 上得分 72.6%，高于 Llama-3.3-70B-Instruct 蒸馏后的 70.0%，而后者的参数是前者的两倍多。 在 K3 颁布后，Ai2 钻研员 Nathan Lambert 在回复 K3 登顶 Frontend Code Arena 榜单（评测前端代码能力）的一条推文时说：到这个时辰，关于 “蒸馏” 的那套论调该终场了；人们该认可，中国也极度善于造模型。 一种被提及的做法是：建大量中转站，以折扣或其它方式吸引一批有真实使用行为的特定用户——他们可能是高级法式员或必要处置大量科研问题的理工科学生和钻研者。在日常使用中，他们会天然而然地产生真实场景、真实工作下的高质量多轮提问，再得到模型的回覆。这些提问及回覆的数据依照肯定方式筛选、处置后，能够作为发酵和扩增更无数据的源头。 这既考验团队的运营能力——是否知路高质量的用户在哪儿，以及若何触达；也考验构建这套系统的工程能力，好比能否让系统足够不变；也必要一些生态能力，整个过程可能必要与第三方公司或机构合作。 二是团队自己来机关高质量标题和工作的能力。这必要对工作、对数据，对当前当先模型的机能天堑有深刻的理解。它和大模型训练自身所需的一些能力是沉合的。 三是怎么用好数据。这必要成立一套数据管线——工作散布是否合理、怎么采样、筛选、过滤、去沉、扩增、纠错，怎么定大局和配比。这套管线有一些可衡量的优化指标，好比从获得的原始数据中，最后有几多比例的数据能被用到后训练；扩增的效能和质量若多么。数据管线的质量寂装响成效，也影响效能和成本。 一位 AI 领域投资人说：蒸馏不是一个单一的按钮，不是你点一下，模型机能就会突飞猛进。其中还有大量实现问题。蒸馏也必要推算投入回报比。 我们接触的无数从业者，不论他们来自传闻中做了蒸馏的公司，还是不做蒸馏的公司，设法都比力一致：对第一梯队的公司来说，蒸馏不组成持久壁垒。 像大模型的诸多技术一样，蒸馏的思路和实际会逐步扩散。人员流动、开源分享、会议互换、想寻找更多客户的第三方服务方……AI 圈的人和信息时常流动。我们反复从钻研员口中听到那句类似的感叹：大模型领域没有真正的奥秘。 技术步骤自身能带来的竞争优势，大部门是先发优势，先做的人会有更多经验，但它不是网络效应那样不成逾越、胜者通吃的强壁垒。 大模型领域，真正被以为有较强竞争壁垒的景象是 “数据飞轮”：若是某一个公司的模型足够强，能触达大量用户用它做高难度工作，它就会获得更多高质量数据回流，并且这些数据是怪异的、非公开的、其它人没有的；这些数据经过肯定的处置，又能够被用来援手训练更强的模型，再吸引更多用户处置更难的工作。 在这个飞轮逻辑里，直接接触用户的利用有很大价值。好比凭据用户和谈和权限设置，Cursor、Devin、Manus 蹬爪用可能能够获得比它们挪用的模型更齐全的数据和用户行为。 昨日（8 月 12 日）Grok 4.6 颁布后，马斯克在回复 Devin 已接入 Grok 4.6 的推文时说：“Grok 4.7 会超过所有此刻的模型。”“SpaceX 的训练语料库（training corpus）太棒、太怪异了。”600 亿收购 Cursor，看来很值得。 不外数据飞轮也有自己的争议：模型和利用公司能获得数据，但能否用这些数据来训练？越难的工作、越高价值的场景，客户和用户是否会越偏差于自己把握这些数据？同时，当模型的用户数量持续扩大，用户类型和场景会越发多元化，沙里淘金是否还值得？ 关于蒸馏，最有意思的一个景象是：所有人都不愿意公开讨论它，但是无数我们接触的从业者，也并不从心底以为这是一个极度可耻的、违背他们技术信想的做法。 目前对关源模型发展的蒸馏都是黑盒蒸馏，它获得的的数据，都是这些模型颁布后在使用中产生的数据，是这个模型作为产品的产品。 那么其它公司为何不能作为用户去向这个模型提问，获得回覆呢？何况，为了这些问题和回覆，各人也支出了真金白银。（当然，实际中会通过各类方式 “薅羊毛”，压低成本。） 这里面更有争议的部门是推理轨迹，大部门模型暗藏了齐全的推理轨迹，蒸馏方必要通过一些技术伎俩去揣摩和还原。但推理轨迹仍是模型使用阶段的产品。 但是，是谁被《纽约时报》告状，指控其未经许可，复造并使用了这家报纸历经 170 多年，由数代记者、评论员和作者堆集的新闻档案库？是 OpenAI。 甚至一些美国 AI 从业者都以为 Anthropic 等公司极度双标。这有点像怕芳新片《奥德赛》中的情境：你把木马送进了特洛伊城，你的故里如今也被海上来者侵袭。 大规模蒸馏，是新技术发展之后出现的新议题。很难由于几个公司说这违反了自己的用户和谈，就让其他无数人心悦诚服地接受这是一个不成取、不路德，甚至可耻、邪恶的行为。 一个广为传布的验证蒸馏的方式其实是无效的：当你问一个模型 “你是谁”？若是 A 模型说自己是 B 模型，这并不是 A 蒸馏了 B 的铁证。在预训练阶段，各人城市使用大量公开互联网数据，而其中已有好多是各模型自己天生的数据。 今年 7 月，英伟达首创人黄仁勋在接受 Axios 采访时被问及蒸馏，他说：“（广义的）蒸馏，向 AI 进建、向其他知识起源进建，这是智能的根基道理。” 字节在蒸馏上经历过调整。2023 年底，字节是中国重要大模型厂商中，第一个被 OpenAI 指出，疑似不合规地使用 GPT 模型的输出来提升自己模型的公司。其时还没有大规模蒸馏。OpenAI 自己也说，字节对其 API 的使用量很。╩inimal）。 据《误点》相识，这之后两年多里，蕴含蒸馏规＜本缋┐蟮恼 2025 年，字节 Seed 没有蒸馏当先的关源模型，而是通过其他方式获得数据，好比高薪礼聘数学、推算机等理工科较量的获奖选手来机关和标注数据。 到 2026 年春节前后，Seed 一度经历扭捏。其时 OpenClaw 风靡、Anthropic 收入激增，GLM-5 等中国开源模型用量大涨，编程能力提升的量变已引起质变，而字节的模型在编程能力上相对落后。 - 蒸馏能在短期内改善模型阐发，但性质上仍是在复造 Claude 已有的能力。沿着这条路走，最多只能不休逼近对方，很难真正实现超过。 但蒸馏只是模型训练的环节之一，齐全的模型训练过程还有好多能够改进的环节：预训练数据、架构、算法、 Infra……多个优化累加，是否有可能让一个学生模型好于某个老师模型？ 一些钻研已显示，在某些具体工作上，学生模型能够超过老师模型。如 2024 年 12 月，微软颁布 140 亿参数的 Phi-4，它的大量训练数据是 GPT-4o 等老师模型合成的。Phi-4 在两个 benchmark 上超过了 GPT-4o： 比力出格的是，作为一个幼参数模型，Phi-4 也直接把老师模型天生的数据用到了预训练中，而真正训练数 T 参数的超大规模模型时，必要重大数据的预训练环节很难用上蒸馏得来的数据，相比直接处置各类网页、代码、书籍，逐条调取老师模型天生数据缓慢而昂贵。 不外这也带来一个设想：当模型推理速度大幅提升、价值大幅降低时，蒸馏或者说借助更强模型机关的数据是否也能够更多进入预训练？ 同时，多老师蒸馏等思路是否也能够用来让模型变强？理论上，一个学生模型能够同时进建 Claude 和 GPT 等分歧的最强模型。这可能会带来一些新的技术问题，好比蒸馏分歧的基座模型，可能会导致训练不不变和分歧能力之间的互有关扰。 这可能和多位从业者提及的组织隐患有关。蒸馏是一种相对经济且见效快的方式。一个活带头当然能够既嗑兴奋剂，又勤于训练。但这在现实中往往难以两全，由于会幸运，有惰性。 当一个团队一个阶段内确把稳力和资源沉心比力大比例地放在蒸馏上之后，那些索求更不确定、更持久方向的项目和个别可能得不到足够的资源和认可。 数据也已成为一个高价值的独立环节。如美国公司 Mercor，重要业务就是助大模型公司找科学家、各学科博士等专业人士做数据机关、标注和模型评估工作。据报路，今年 7 月，Mercor 在以 200 亿美元估值追求新一轮融资。 在我们关于 “字节不做蒸馏” 的那条独家报路之下有这样一条留言：他（张一鸣）可能不是最懂技术的，但或许率是最懂人道的。 此时此刻，开源模型在机能上越发逼近最当先的关源模型。并且客观事实是，最强的开源模型来自中国，最强的关源模型来自美国。 此前，智谱已在 2025 年 1 月被美国商务部列入实体清单。同年底生效的《2026 财年谍报授权法》则要求从美国谍报系统、国度安整系统和有关供给商中移除 DeepSeek。 到今年 4 月，美国多议院河山安全委员会和美中战术竞争出格委员会起头调查美国企业使用中国模型的情况，问 Cursor 为何要把 Kimi K2.5 当做 Composer 的底座，问 Airbnb 为何要在客服业务中使用阿里 Qwen。 7 月 16 日 Kimi K3 颁布后，据报路，美国当局正思考限度甚至不容部门中国开源模型。7 月 24 日，微软、英伟达、Meta、Fireworks AI 等 77 家公司和机构陆续联名签署公开信《盛开权沉与美国 AI 辅导力》，否决仓皇限度开源模型。 Anthropic、OpenAI 和 Google 等公司也正采取更严苛的技术伎俩鉴别和封禁疑似用于蒸馏的账号。好比 Anthropic 称，它已经成立了鉴别蒸馏流量的分类器和行为指纹系统，能够发现跨账号协同、沉复提问以及套取思想链的行为；同时会加强对教育、钻研和创业公司账号的身份验证。 前文提到的图宾根大学的 “stealing reasoning tracks” 钻研中还原推理轨迹的方式，已被这个钻研团队汇报给有关关源模型公司，在他们上传文章时，其中的部门步骤已失效。 参加其中的各方都在做出自己的选择和筹备，而接下来的变动会扭转从算力、云服务、Infra、再到模型、利用和客户部署的整个产业链条。 这么多公司投入这么多资源，如此争先恐后地投入这场智能较量，是为了什么？今年上半年，是编程和 Agent 的发作式增长，旋转了市场预期。再往后，若是大模型利用扩散的规模与速度无法接续，那么，模型研发较量的未来会若何颠簸？这是另一些人已经在关切的问题。

本页 /desnewsHMQUQdh2GP