「设备即环境」：这个北大系公司想通知所有人，端侧模型才是未来

一个 27B 参数的模型，原生计在于你的电脑里，关掉 Wi-Fi，它照样能够读取本地文件、翻数据库、处置 Excel、写 PPT，陆续跑一个从前通常必要挪用云端大模型的复杂工作
。公司的财政数据不用上传，自己的知识经验留在本地，跑得再多，也不用盯着一个随着 Agent 工作功夫不休上涨的 Token 账单
。 把 1B、3B 的模型装进手机已经不稀罕，建图、总结文字、陪人谈天都能做；可一旦让它读几千条银行流水，自己找文件、写剧本、调工具、查抄了局，最后交出一份能用的汇报，幼模型很快就会露馅
。最近一年，这个天堑起头往前推
。 9 月 3 日，北大系布景的元空智能和惠普一路颁布了一套端侧 AI 规划
。元空颁布了Boxer 系列模型，以及AI Work、AI Science 两套 Agent，这些一路进入惠普的机械，从笔记本、基于 NVIDIA GB10 的桌面算力盒子，再到工作站，模型和 Agent 直接预装，并一路推动后面的企业部署和服务
。 颁布会现场demo环节，展示者做的第一件事就是关掉机械的Wi-Fi 
。随后，元空 AI Work 在齐全离线的情况下扫描本地文件夹里的几十张发票，实现解析、分类和归档，最后天生 Excel；另一个demo则是在离线情况下读完数千条银行流水，寻找短功夫资金快进快出这样的异常特点
。从模型推理到文件处置，数据没有脱离本地
。 从前我们习惯于这些工作由一个存在于几千公里表的数据中内心的AI解决，此刻电脑不再只掌管打开一个网页，而是能够直接本地处置这些工作
。 2023 年 2 月 28 日，ChatExcel 测试版上线
。用户把 Excel 抛进去，不用记函数，也不用自己写公式，直接通知它“把销售额按地域汇总”或者“找出异常数据”，它替你操作表格
。半个月后，公测网页日活峰值已经达到 15 万，累计独立 IP 接见超过千万
。那时豆包和 Kimi 都还没有出现，国内甚至没有几多人想明显一个“大模型利用”到底应该长什么样
。 最早做这件事的是北京大学的宁鲲鹏和姚佳雨
。两人在 ChatGPT 爆火之前就钻研 AI 处置 Excel 和数据，后来在导师袁粒领导下用 Transformer 沉做技术路线，逄大嵬随后参与团队，把尝试室里的项目往产品和贸易化上推
。今天元空的正式员工依然只有十人左右，它连着北大的尝试室、学生和实习生；团队从前几年却从说话、视觉一路做到多模态和分歧尺寸的模型
。 ChatExcel 后来也没有一向停在 Excel
。从表格扩到数据库、数据洗濯和分析，再往后造成齐全的 Data Agent
。元空自己披露，目前产品已经堆集了数百万用户
。颁布会互换时逄大嵬还恶作剧，大厂们一向声量很高，他们则在“偷偷地赢利”
。 这几年留下来的器材，不只是一批用户
。一幼我处置 Excel 时先找哪张表，看到异常之后往哪里查，一项工作中央挪用几多次工具，什么时辰会失败，最后交付什么了局，这些真实的操作轨迹全留了下来
。以前它们更像产品日志，但此刻当Agent 起头真正替身干活以来，这批数据的意思齐全变了
。模型公司此刻最缺的，刚好就是这些互联网上找不到的工作过程
。 元空的模型则在中央这一层
。这次颁布的 Boxer 蕴含 27B 浓密模型和 35B-A3B 稀少模型，团队给自己划出的领域约莫在 20B 到 100B
。依照逄大嵬的说法，3B 以下适合 Chatbot，写器材、陪谈天已经不错，但长链路出产力工作对高低文理解、Planning 和工具挪用的要求很快会把它压垮；千亿参数以上的大模型能力更强，放到幼我设备上的成本又太高
。几十 B 参数刚好起头进入一个“能干活，也装得下”的区域
。 元空内部很喜欢用“智能密度”诠释这种变动
。同样几十 B 参数，今天能装进去的能力比一年前多得多
。他们判断，目前 35B 这一档已经可能覆盖不少一年前还要交给更大云端模型的出产力工作
。这个趋向当然不只属于元空：模型架构、MoE、量化、算子优化不休往下压，PC 这一头的 GPU、NPU、内存带宽持续往上长，两条曲线今天起头交汇
。 这次 Boxer 已经能够从十几 GB 内存的幼我电脑，一路部署到桌面算力盒子和工作站
。官方披露的工程数据里，经过针对硬件的优化后，Prefill 达到数百 Token/s，Decode 达到数十 Token/s，交互延长压到了百毫秒甚至更低
。这些数字没有 Frontier Model 跑 Benchmark 那么性感，但它决定了另一件很现实的事：一个几十 B 的模型坐在桌边，已经不会由于慢到无法忍受而失去使用意思
。 而出产力工作对模型提出的要求，还远不止“聪明”
。一个 Agent 陆续工作两幼时，中央断掉了怎么办？昨天做到一半的工作，今天回来还能不能接着做？挪用十几个工具以来出了错，能不能知路应该从哪里退回去？元空 AI Work 为此做了一套 Harness 和持久 Memory，把执行过程结构化保留下来，工作能够从查抄点复原
。姚佳雨在颁布会上形容它有点像版本节造，他们保留的是一项工作真正走过的轨迹
。 这也是元空为什么没有急着去和手机里的幼模型抢谈天、建图
。3B 模型写一首诗已经足够好了，让它替财政部门干一个下午，那齐满是另一种工作和技术路线
。 从前几年，我们逐步习惯了一种很奇怪的推算机消费方式：电脑已经买了，真正干活的算力还得按 Token 付钱
。Chatbot 时期这笔钱没那么刺眼，一幼我每天问几十个问题，订阅费也就几十美元；Agent 一来，账本迅速变厚
。一次工作可能陆续跑几个幼时，反复读取文件、搜索、挪用模型、写代码、验证了局，用户越愿意把工作交给 AI，Token 就烧得越快
。 这笔账当然不适合所有人
。通常用户一天聊几十轮，直接用云端模型依然最方便；真正敏感的是投杏注律所、药企、造作企业和科研机构，由于它们通常同时满足两个前提：AI 用得足够多，手里的数据又足够贵
。审计草稿、律师文件、尝试数据、公司财政和工厂工艺参数，有一些甚至从造度上就不能进入公有云
。 本地模型刚好同时处置这两件事
。算力买断，数据留下
。但这也带来另一个老问题：谁来把模型装进每家公司？元空正式员工十人左右，若是每卖一套产品都要工程师飞从前调机械，这家公司很快就不用训模型了，天天交付就行
。所以，他们的最沉要合作同伴，就是惠普这样的设备厂商
。据相识，双方已经合作两年，惠普有现成的工作站产品、企业销售系统、FDE 和全球渠路，元空只必要持续把模型和 Agent 做好
。 在这次颁布前后我们有机遇和元空的团队深刻互换，而在互换中，你会发现这支十来人的团队，其实几多有一点今天所谓Neo Lab 的味路
。 Wikipedia、书籍、网页、论坛、GitHub，这些从前几十年人类公开留下来的知识，已经被一轮又一轮模型抓下来训练
。预训练当然约有隐没，但持续从公开互联网里多找一些文本，已经越来越难带来从前那种能力跃迁
。 一个分析师看到一份财报，为什么忽然去查另一张表；一个教员傅听识趣械声音不合，下一步会看哪个参数；一个尝试员做完上一轮反映，为什么把下一次的试剂从 3ml 改成 2.7ml
。这些知识很少有人专门写进网页，好多时辰当事人自己都不会感触这是“数据”
。但它们刚好纪录了人怎么实现复杂工作，而越来越多的新模型能力，在从这种过程里长出来
。 预训练先让模型获得说话、知识和持续进建的能力，之后的 Coding、Computer Use、长链路 Agent，则越来越依赖后训练：给模型一个能够行动的处所，让它尝试，而后通知它事件有没有做对
。代码环境很单一，一段法式写完，跑十个 Test Case，过几个就拿几分；网络安全也能够做成环境，放一台服务器进去，攻破就是成功；到了尝试室，模型调整尝试参数，仪器跑完以来把真实了局送回来，反馈同样成立
。 元空以为围棋是最好理解的例子
。棋盘没有十万亿 Token，只有一套规定、每一步落子和最后的输赢；有了这样一个能够不休尝试、不休获得反馈的环境，模型就能自己天生险些无限的数据
。沿着这个逻辑看今天的办公室和尝试室，Excel 是环境，浏览器是环境，ERP 是环境，机械臂、显微镜和离心理也是环境
。一个 Agent 真在这些设备上工作，会天然留下一整条 trajectory：它看了什么、做了什么、哪里失败、怎么建改，最后事件有没有实现
；チ献钅鸦竦玫哪桥，在这里每天都有人免费出产
。 元空一向强调 Model、Agent 和 Device 要放在一路看，都和这个判断有关
。模型掌治理解和决策，Agent 提供 Memory、工具挪用以及维持长工作的 Harness，设备则把前两者接进真实工作
。现事凤的工作很少像 Chatbot 一样，以一次 Prompt 起头、几十秒以来实现：财政工作可能持续几天，科研项目持续几个月，工厂甚至始终不会停
。Context Window 再长，也装不下这样一条无限往前走的功夫线，所以 Agent 必须记住之前产生过什么，再回到设备上持续操作
。 这也诠氏缢为什么元空很在意“原生端侧模型”
。他们并不满足于把云端模型量化、压幼，再搬进 PC
。在他们看来，模型若是最终要在设备上处置持久、复杂、真实的工作，训练时就应该接触这样的环境
。“首先要有一个端侧环境，能力训出原生的端侧模型
。”他们在互换里反复强调这一点
。 Frontier Model 依然能够留在规模巨大的数据中内心，用昂贵算力持续索求能力天堑；可一旦某种能力被证明可行，对应的环境、反馈机造和训练步骤成熟，它就会不休向更幼的模型迁徙
。一年前必要大模型能力实现的工作，今年几十 B 起头能做，再过一代还可能持续往下走
。幼模型进入设备之后，又拿到了云端模型最缺的真实工作环境和轨迹数据，因而下一轮后训练能够持续产生
。 今天各个模型团队都在四处寻找新的“环境”数据：Coding、金融、安全、科研，每一类工作都得有人搭出一套可能反复尝试并且给出靠得住反馈的世界
。而在元空的选择里，像惠普这样的设备就是最好的环境
。 从前二十年，PC 和手机把几十亿人接进互联网
。人类在这些设备上搜索、谈天、工作、写代码，最后留下的数据喂出了今天的大模型
。此刻 AI 起头反过来住进设备里，它第一次能够持久看到人怎么工作，也能够自己着手、犯错、拿到真实了局，再持续下一次
。 这些都是元空想要让各人知路的，他们的“赌注”：省掉 Token 和数据不出本地，都已经足以卖一台电脑；但若是智能密度持续以今天的速度提升，而模型训练真正稀缺的数据又越来越多地来自现实环境，设备就不只是一台更便宜的推理机械
。它会成为模型下一轮进建的处所
。而谁先在这里“扎下根”，谁天然就有更大机遇占有AI往前走的下一个未来
。