详情

作家｜Li Yuan 开云kaiyun官方网站

剪辑｜ 郑玄

曩昔两年，对于 AI 模子的故事，险些都在围绕两个版块伸开：无所不可的云，和充满想象的端。

也曾，一个被粗俗刻画的行业蓝图是：随着轻量化模子智力的持续增强，AI 解脱云表敛迹，在每个东谈主的成立上结束永不离线的贴身智能，似乎只是一个时辰问题。

关联词，喧嚣事后，一个无语的现实摆在目前：非论是近期爆火的 AI 玩物，照旧备受小心标 AI 眼镜，其中枢交互和智能依然紧紧地系于云表。即使是算力更强的手机和 PC，信得过结束了离线 AI 智力的，却依然凤毛麟角。

时代演示里，端侧模子看起来无所不可。但终末说好的离线智能，怎么照旧离不开收罗？

矛盾的一面，是用户对体验的极致渴求：即时反应不可等，阴私数据不想传，断网时刻不失联。而另一面，是端侧成立长久无法规避的「物理天花板」——有限的算力、功耗和内存，像一谈无形的墙，桀黠地防止了绝大无数高性能模子的落地。

更深层的矛盾，则在于交易的引力。对于手抓最强模子的巨头而言，云表是彰显时代指导力的标杆，更是利润滔滔而来的收费站。当总共的眼神和资源都聚焦于云表时，阿谁更苦、更累、交易申报更不纯简直端侧，自然成了被忽略的边缘。

那么，那些信得过致力于于推动「离线智能」的少数派，他们到底在作念什么？在本年的宇宙东谈主工智能大会（WAIC）上，一家名为 RockAI 的公司给出了我方的谜底。他们正走在一条少有东谈主走的路上，并找到了破局的钥匙。

以「让每台成立都领有专属智能」为管事，这支团队一头扎进底层时代，以致斗胆摈弃主流 Transformer 架构，硬是啃下了端侧部署这块被视为「不可能完成的任务」的硬骨头。早期，他们的模子就能完整跑在算力衣衫不整的树莓派上——这块卡片大小的电脑向来是端侧部署的严苛试金石，大无数同类模子在它上头频频跑出几句话就卡住。

而在本年 WAIC 推出的 Yan 2.0 Preview 仅 30 亿参数，照旧能作念到多模态，并在腹地结束信得过的「系念」：模子可动态调度权重，历久保留并更新用户偏好。

而这项「不可能完成的任务」的效果，也并未停留在实验室的演示阶段。量产订单照旧从海表里市集发来，将时代实力迅速兑换为交易价值。

他们的故事粗略能回复阿谁根蒂问题：当云表模子大呼大进时，咱们为什么还需要、以及如何智力结束信得过的离线智能？

极客公园采访了 RockAI 的和谐独创东谈主邹佳想，与他们聊了聊 RockAI 背后的交易故事。

01

为什么咱们还莫得领有永不下线的随身 AI ？

问：总共这个词行业似乎都在为一个离线智能的未来而勤快，苹果这样的巨头更是将此视为中枢政策。可为什么从时代演示到消费者手中，这「终末一公里」却老是走欠亨？

邹佳想： 寰球都在谈离线智能、成立端的 AI，但逸想和现实之间，横着两座险些无法进步的大山：一座是算力，另一座是功耗。

大模子想在成立上运行，需要很高的算力成就。目前许多行业内的 AI 公司，固然也有参数相比小的模子，然则仍然需要算力更高的芯片智力跑上去。

比如咱们的一个客户，想要在手机上成就离线的大模子，然则那时行业里其他大模子厂商提倡的决策，险些无一例外地条款必须使用高通最新的旗舰芯片以及 16G 以上的内存。但现实是，大无数智能成立，都不可具备这样的算力芯片。

这即是最桀黠的算力鸿沟： 你的 AI 时代再先进，若是只可悠闲少数顶配成立愚弄，那么就失去了普惠 AI 的预见。

另一座大山，则是功耗。

这个问题在手机上体现得长篇大论。现实中，手机厂商只须尝试部署大模子，成立的发烧就高出严重，这险些是总共基于传统 Transformer 架构模子的通病。险些总共主流手机厂商都和咱们疏通过这个痛点。他们都想鄙人一代 AI 手机上结束破损，但又都被这堵功耗之墙挡住了去路。

为什么终末一公里走欠亨？

事实是， 硬件的更新的节拍客不雅上很慢，许多成立多年前就卖出去了，当年的芯片、存储、麦克风、录像头都不是为今天的大模子准备的，把 Transformer 往这些中低端算力上布，要么跑不起来，要么凑合跑效果差。

即便上游厂商推出新一代高端芯片，把它叮咛进新址品线频频要经验 6–12 个月；而居品信得过卖爆、畛域化出货并粗俗普及往交游需要特别 1–2 年。这种节拍是客不雅物理现实，不可能被跳过。

问：您刚才提到了，非论是算力照旧功耗，许多问题的根源都指向了目前主流的 Transformer 架构。Transformer 在云表评释了我方是面前最强的 AI 架构，为什么把它搬到端侧成立上，就水土不屈了呢？

邹佳想： 这个问题确乎问到了在成立端运行大挑战的中枢。Transformer 之是以刚劲，依赖于它鼎新性的慎重力（Attention）机制。但问题恰恰也出在这里。

传统的 AI 模子像一个活水线工东谈主，他处理信息是一个一个按划定来的，系念力有限，处理到背面就忘了前边。而 Transformer 就像一个领有超智力的总引导，他不是按划定处理，而是让信息排成一个方阵，然后条款方阵里的每一个字，都要和其他总共的字抓手一次，来缠绵相互之间的关联度。

这种「全局抓手」的智力，让 Transformer 领有了超凡的贯通智力。但在云表，你有无尽的算力去支撑这种缠绵。

但手机芯片（CPU/NPU）的联想，更像是刚才说的「活水线」，它擅长的是高速、划定地实行任务。你蓦然让它去完成一个需要「全局抓手」任务——每增多一个字，缠绵量就指数级暴增——它一刹就不知所措了。

咱们从一驱动就宥恕到了这个问题。业界目前也有一些改良决策，像 Flash Attention、线性慎重力等等。但咱们的论断是，这些都只是在「引导大厅」里作念一些小修小补，莫得从根蒂上变调「全局抓手」这个高耗能的模式。

咱们终末采选了一条更透澈的路： 保留 Transformer 刚劲的特征索求智力，但透澈拿掉阿谁虚耗巨大的 Attention 机制，用一种全新的、更稳妥在「活水线」上运行的架构来替代它。 国外同期的 Mamba 架构也看到了肖似的成见。咱们不是去修补一辆不稳妥在小径上开的 F1 赛车，而是再行联想一辆能在小径上跑得赶快的越野车。

问：这听起来高出复杂。只是为了在智能硬件上跑，就要再行联想一个架构。离线智能简直有这样必要吗？

邹佳想： 这个问题很真义，咱们认为高出有必要，而且咱们也确乎看到了很强的市集需求。

它的必要性体当今几个无法被云表替代的价值上：

第一，皆备的阴私安全。 这是苹果这样的公司参加端侧最中枢的初志。最敏锐的数据，比如你的相册、健康信息、聊天记载，根蒂就不应该离开你的成立。这是一个原则问题。

第二，极致的及时交互。 许多场景对延长的条款是毫秒级的。比如部署了 Yan 架构的无东谈主机，用户喊一声「在我跳起来的时候抓拍」，模子就必须一刹反应。这种场景，任何一次收罗波动都可能是致命的，你不可能依赖云表。再比如未来的机器东谈主，它需要左证我方独有的臂长、传感器参数来作念出精确的手脚，这种与硬件高度绑定的及时适度，必须由腹地的」大脑」来完成。

第三，本钱问题。 云表 API 的价钱看起来在持续下落，以致免费，但仍然是有本钱的。以录像头为例，出货量是以亿为单元。在这种海量畛域下，云表再低廉，乘以亿，亦然一笔天文数字。而走向离线智能，硬件本钱是照旧付出的，后续的使用险些不产生特别用度。从交易逻辑上，海量成立，腹地部署一定是本钱最优解。

腹地模子就像一个守在门口的灵敏管家，它阴私、安全，个性化的贯通你。即使它不一定能束缚总共最复杂的问题，但它应该能处理掉 80% 的泛泛琐事——开愚弄、设领导、通俗翻译、会议纪要等等，况且作念得又快又安全。对于绝大无数用户来说，不是日复一日都需要处理复杂任务。

云表模子能够悠闲用户相比高的需求，然则成立端的模子能更快，更安全，更低廉地悠闲用户的大部分需求。

02

能结束离线智能的模子，应该长什么样？

问：刚刚提到，为了结束离线智能，你们采选了最难的路——再行联想一辆「越野车」。那么，这辆新车的「发动机」，也即是你们新架构的核神思制，究竟是什么？

邹佳想： 咱们的中枢创新，即是毁灭了咱们前边说的 Transformer 那种需要「全局抓手」的、高耗能的 Attention 机制，回退到更轻的「特征—扼制—激活」架构，再配合分区激活，把每次信得过运算的参数目压到十分之一以致更低。 算力需求降到蓝本的五分之一以上，功耗降到十分之一。 前边说过，表率 Transformer 架构中，非论任务多小，总共参数都必须全部被激活，智力取得一个高智能的谜底。然则东谈主脑其实不是这样运行的。

东谈主脑其实也有 800-900 亿的神经元，咱们不错贯通为，它是一个 800-900 亿参数的模子，东谈主脑若是是全量激活，功耗可能会到 3000 瓦以致 4000 瓦，然则东谈主脑其试验的功耗唯独 30 瓦不到。

东谈主脑怎么神奇地干成这件事情呢？即是靠分区激活。咱们的模子即是模仿了这种格式。

除了功耗裁汰了，新的架构还让咱们能够在一个 3B 的模子中，结束多模态。

用一个不太严谨的譬如，当你看到一只鸟，听到它的叫声，同期又在阅读「鸟」这个字时，你的大脑并不是总共这个词被点亮。它是在视觉区、听觉区、谈话区这些不同的分区里，激活了特定的、小范围的神经元。正是这些分区既孤独又相互重复的激活，匡助咱们高效地将形态、声息和词汇无缺地对皆。

30 亿参数以下的 Transformer 模子因为其全局缠绵的特色，很难高效地处理和对皆不同起原的模态信息。而咱们的类脑激活机制自己就更接近大脑的分区处理模式，不同模态输入不错自然地激活不同的分区，让对皆变得更轻佻、更精确。因此在 3B 畛域下，咱们依然能保留刚劲的文本、语音、视觉和谐贯通智力。

问：「分区激活」想路确乎很秘要。但东谈主脑之是以能只激活一小部分，是因为它自己是一个近千亿参数的巨型模子，基础底细够厚。而咱们当今的端侧模子，自己就唯独戋戋几十亿参数，照旧是在「螺蛳壳里作念谈场」了。咱们简直能指望一个小模子，通过激活更小的一部分，来完成更好的智能吗？

邹佳想： 您这个问题，恰恰波及了面前大模子发展范式的中枢——咱们称之为压缩智能的窘境。

当今的预磨真金不怕火大模子，本质上是一个压缩智能的经由——像一块巨大的海绵，它的磨真金不怕火经由，即是把海量的互联网数据（水），压缩进这个由几千亿参数组成的容器里。参数目越大，海绵越大，能领受和储存的学问自然就越多。

这个范式在处理多模态时，会存在一些问题。压缩过文献的东谈主应该都知谈，1G 的翰墨打包压缩后，是比 1G 的视频、图像这样的文献更小的。视频图像这样的文献本来就大，而压缩比又低，这即是为什么市面上小参数的 Transformer 模子，很难加入多模态智力。

是以，若是游戏规矩只是比谁的海绵更大、谁背的书更厚，那小参数的模子确乎莫得未来。

但咱们认为， 信得过的智能，不应该只是压缩，更应该是成长和学习。 这即是咱们路子的根蒂不同：咱们不是在一条谈上走到黑，而是压缩智能 + 自主学习双线并行。

咱们刚才提到的分区激活，它的预见不仅在于节能，更在于它为成长提供了可能性。

咱们当今的模子唯独 30 亿参数。但通过神经收罗概括的动态分区，打比方分红 100 个区，那么一次只需要激活 3000 万个参数。这意味着，咱们未来完全不错在手机内存允许的范围内，把端侧模子的总参数也作念得很大，比如作念到百亿以致更多，但通过只激活其中极小一部分，来保持雷同低的功耗。

这就颠覆了游戏规矩。咱们不再是探究怎么把大模子变小，而是探究怎么让模子在端侧从小长到大。

是以，当别东谈主都在压缩这条路上内卷时，咱们通过 MCSD 架构、分区激活、系念神经单元，为端侧模子找到了第二条、亦然咱们认为更相宜人命本质的成远程径——可持续的、低本钱的自主学习 。 咱们不单是在构建一个能在成立端跑起来的模子，咱们是在为端侧 AI 的未来，构建一个全新的、能够持续成长的大脑底座。

问：您提到了自主学习这个词，怎么贯通 Yan 模子的自主学习？它和当今云表模子的个性化有什么不同吗？

邹佳想： 自主学习，正是咱们此次在此次 WAIC 上想展示的最令东谈主茂盛的时代破损之一。

目前咱们战斗到的云表大模子，都要通过预磨真金不怕火智力更新我方的智能。因为一个模子信得过学习的经由——贯通用户的反馈，并将其体当今我方的神经收罗变化中，依赖于前向传播（推理/推断） 和 反向传播（学习/修正）的经由。而反向传播自己是一个寥落耗能的经由。在云表，一个千亿模子进行一次反向传播，需要动用一个宏大的、由上千张 GPU 组成的磨真金不怕火集群。

是以，总共基于 Transformer 架构的模子，一朝被部署到你的手机上，就成了只读存储器——它唯独前向传播的智力，失去了学习和更新的可能。咱们战斗到的所谓的个性化，都只是模子通过对话，记取了你的一些偏好，变成了一个外挂学问库，这并不是从根蒂上学习了你的偏好。因此或然候你和模子即使强调了许多遍你的偏好，模子照旧会有我方想偏好的输出。

而咱们的创新，恰正是在这个最根蒂的物理松手上，结束了一个看似不可能的破损： 它让反向传播这个学习经由，第一次有可能在端侧成立上发生。

获利于分区激活的特色，当模子需要学习新学问时——比如记取你「喝咖啡不加糖」这个偏好——它不需要去撼动总共这个词几十亿参数的神经收罗。咱们的架构能作念到： 锁定与这个新学问径直关系的、阿谁被激活的、极小的神经元分区。在这个被防止的小型战场里，实行一次低功耗的反向传播，只更新这个分区内少许数的权重参数。将这个学到的新学问，径直、永恒地写入模子本质的神经收罗中 。

通往个性化系念和自主学习的大门就这样被洞开了。

当今，咱们的模子不错一边使用（推理），一边学习（磨真金不怕火），把新学到的东西，比如你的新俗例、新偏好，径直写进模子本质。它让模子领有了信得过的自主进化智力。

03

离线智能什么时候能够上 AI 玩物？

问：咱们刚才聊了许多时代上的不可能与可能。当今咱们回到市集，当大部分声息还在追赶云表千亿模子时，你们的时代却在短时辰内找到了确凿的交易订单。这让咱们高出意思意思，从你们的视角看，面前市集上，究竟是哪一类玩家，对离线智能抱有最浓烈的执念？他们背后的交易驱能源是什么？

邹佳想： 目前，咱们战斗了多个领域的客户，而每个领域客户对于离线智能的执念背后，都有着潜入的交易逻辑。

PC、平板和机器东谈主是咱们面前最中枢、已结束量产的战场。咱们会更宥恕更广域的中低算力市集。

以咱们和某头部出海厂商的配合为例。他们的中枢诉求，并不单是是为未来的旗舰机型打造 AI 功能，更是要 周转手中数以亿计的、照旧售出或正在销售的中低端成立。

为什么硬件厂商如斯在乎这些旧成立？这背后有两条人命线：

第一条，是 针对照旧卖到用户手里的成立。 通过 OTA（空中升级）的格式，为这些旧成立推送咱们的 AI 模子，不错创造全新的软件预装和升值服务收入。更紧要的是，这极地面提高了品牌价值——「我几年前买的电脑，当今竟然也能升级成 AI PC 了！」这种口碑是用钱也买不来的。

第二条，是 针对当下仍在出货的、非旗舰的机型。 任何一个品牌都不可能只靠售价上万的顶配 AI PC 谢世，信得过的销量和利润，来自于广博的中低端市集。但这些成立，因为芯片算力松手，根蒂无法运行主流的 Transformer 模子，但厂商并不肯意因此看着我方的居品与 AI 绝缘。

而咱们的时代，恰正是填补这个巨大空窗期的解。 咱们的模子能径直在这些非旗舰的存量成立上畅达运行，让厂商下个月就能把 AI PC 卖到用户手中，而不是苦等三年。

除了 PC 和平板除外，咱们也宥恕机器东谈主和手机领域。与无东谈主机公司也有一定的配合。

问：AI 眼镜和 AI 玩物这些炙手可热的领域呢？

邹佳想： 这两个品类，险些是总共媒体和投资东谈主见到咱们必问的问题。它们代表了成立端 AI 最性感的想象力，但也显现了最骨感的现实。

它们的根源问题，其实是祛除个： 为了极致的本钱适度和简略性，这些成立里的芯片，从联想之初就不是为了跑 AI 的。

以 AI 眼镜为例，当今市面上的主流决策，用的要么是高通的 AR 专用芯片，要么是恒玄等厂商的芯片。这些芯片本质上是通讯芯片，它们的任务是作念好蓝牙聚拢、信息投屏、通俗翻译等，算力被严格松手。

驱散即是，咱们的模子想跑在大部分眼镜上，都跑不上去，算力、内存完全不达标。连咱们都跑不上去，就更别提那些动辄几十亿参数的 Transformer 模子了，那更是离奇乖癖。AI 玩物也面对着完全一样的窘境。

市集对体验有极高的幻想，但硬件的物理现实却极其桀黠。

面对这个死结，咱们目前看到了两条了了的旅途，咱们也在同期鼓舞：

第一条路，是「弧线救国」，亦然当下最求实的决策。 既然眼镜自己算力不够，那就借用手机端的算力。这个决策，咱们正在和一些头部的眼镜厂商进行深入的洽谈。

另一条路，是更激进、更面向未来的「抽薪止沸」。 咱们和一些像影目科技（INMO）这样有派头的伙伴，正在尝试一个斗胆的想法： 鄙人一代的眼镜上，径直换一颗更刚劲的大脑 芯片 。

这自然会带来巨大的功耗和工业联想挑战。但对他们来说，一朝得手，就意味着领有了一款惟一无二的、能信得过结束离线智能的眼镜。想象一下，你戴着它去国际旅游，在莫得任何收罗的环境下，它能结束即时的、高质地的离线翻译，这种体验是「炸裂」的，是皆备的各异化上风。

是以，对于眼镜和玩物这两个市集，咱们既有求实的「当下解法」，也有着眼于未来的「终极决策」。咱们高出有耐烦，因为咱们肯定，信得过的爆发，需要恭候时代和硬件的无缺共振。

问：当今国内的 AI 硬件赛谈极其火热，但都以使用云表 AI 为主。但我不雅察到你们的客户，试验上是销往国际的。在离线智能这件事上，海表里的市集温度是否并不一致？

邹佳想： 您不雅察到的这个「温度差」，正是咱们现阶段政策布局的中枢。 销往国际市集的智能硬件，其实为咱们提供了一派更纷乱的蓝海。 这种「炙热」的需求，主要源于三个国内不太敏锐的「痛点」：

第一，是根植于文化的「阴私执念」。 在西洋市集，用户对于个东谈主数据阴私的怜爱进程，是写进法律、深入东谈主心的。咱们目前也在和一家头部玩物 IP 公司谈配合，他们之是以对咱们的决策产生浓厚意思，一个中枢前提即是：他们不但愿用户的阴私上云 。 他们的内容 IP 和用户数据是最高等别的钞票，必须在成立端处理。

第二，是客不雅存在的「收罗鸿沟」。 咱们很容易被国内一线城市无处不在的 5G 收罗所「蒙蔽」，认为收罗无所不可。但放眼全球，对于咱们的出海伙伴来说，他们的用户可能在非洲的田园，也可能在东南亚的岛屿，这些地点的收罗环境，让依赖云表的 AI 体验变得极不可靠。一个能在弱网、无网环境下结识运行的离线模子，是他们的「救命稻草」。

第三，是更高的东谈主力本钱催生的「效力需求」。 在国际，许多场景下用机器替代东谈主力的意愿更强。当他们需要一个可靠的、无需联网的 7x24 小时理财员或多谈话导游时，离线智能的交易价值会比国内市集体现得更径直、更紧要。

是以，咱们的政策高出了了，咱们称之为「借船出海」。咱们通过赋能那些自己就高出优秀的中国出海企业，将咱们的时代带给全球那些对离线智能有着最确凿、最浓烈需求的 C 端用户。

问：您的共享刻画了一个高出高亢东谈主心的远景，但也无法规避一个横蛮的现实：一方面，端侧模子是各家智能硬件厂商都在宥恕的重心，国外内手机巨头们都在参加重兵自研，试图把 AI 的命根子掌抓在我方手里；另一方面，硬件的摩尔定律也在飞速前进，两三年后，当手机芯片刚劲到能轻佻运行更大的模子时，你们今天「小而好意思」的上风，是否还存在？面对这样的未来，RockAI 最深的护城河，究竟是什么？

邹佳想： 您这个问题高出横蛮，它恰好点出了咱们每天都在想考的两个中枢挑战。

当先，对于 硬件变强 。咱们认为这是一个对咱们成心的趋势。第一，任何高端硬件的普及，都至少需要两到三年的窗口期，在这个窗口期内，咱们是束缚海量存量和中端成立 AI 化问题的最优解。第二，当硬件底座变强，它能容纳的不单是是更大的 Transformer，也能容纳咱们从小长到大的 Yan 架构大模子。咱们雷同不错作念 10B 以致更大的模子，而咱们独有的自主学习、低功耗特色等上风，依然会存在。

另一个问题，可能更波及咱们这家公司的灵魂，回复了咱们信得过的护城河是什么。

咱们的团队基因，其实源于一个始于 2015 年的、未完成的梦。那时候，咱们几个独创东谈主就想作念信得过的智能硬件，那时的形态肖似于小爱同学，但那时就因为 AI 时代不老到而失败了。直到咱们看到了 Transformer 的后劲，合计时机到了，才再次聚到沿途创业。

再自后，咱们就灾瘠土发现，把 Transformer 这台「云表猛兽」硬塞进小小的成立里，这条路，在工程上根蒂走欠亨。

那时，摆在咱们面前的有两条路：一条是随着行业主流，给 Transformer 打补丁，作念多样优化，这条路更容易、也更容易被投资东谈主看懂。另一条，是走一条更难、更孤苦的路，承认此路欠亨，从零驱动，去构建一个全新的、为端侧而生的架构。

咱们采选了后者。而撑持咱们走下来的，不是咱们有若干钱，有若干卡，或者团队配景有多光鲜。咱们里面纪念，可能即是一个很「玄学」的词：宝石。

咱们笃信，模子一定要跑到端上去，成立一定要有我方的智能。正是因为这份执念，咱们才放心去坐那两年多的冷板凳，在别东谈主追赶云表风口时，咱们像一个实验派的真金不怕火丹师，在实验室里反复尝试、考据，最终才真金不怕火出了 Yan 架构大模子这颗丹。

是以，咱们的护城河，不是某一两个时代点，因为灵敏的东谈主和团队太多了。 咱们的护城河，是咱们因为宝石而趟过的那些坑、蕴蓄的显露，以及咱们从第一天起就不落俗套的、为端侧智能而生的创新基因。

*头图起原：AI 生成

本文为极客公园原创著述开云kaiyun官方网站，转载请关系极客君微信 geekparkGO