欧赔｜赔率含义·数据对比与变化解读平台

当我们谈论个人AI时，终端设备上的模型是必然要涉及的话题，但当前终端模型仍难以满足复杂AI任务的需求，核心原因在于：模型规模和能力受硬件条件制约。

如今前沿大模型的参数规模正逼近万亿级别，例如Kimi K3公开参数高达2.8万亿，即便采用4-bit量化（牺牲部分精度以降低性能需求），仅模型权重就需要约1.4TB存储空间，实际运行还需额外内存开销。

而主流消费级显卡显存大多仅8/12GB，少数高端显卡也不过16/24/32GB，至于显存更高的专业显卡，整套系统部署价格动辄六位数起步，令人望而却步。

因此，在很长一段时间里，雷科技的观点是：终端没有大模型，但这个观点如今已过时。因为前有英伟达RTX Spark，后有苹果Mac Studio，两家公司同时对“终端大模型”这一目标发起了挑战。

真正的AI PC，来了

前段时间，Meta正式发布8160亿参数的开放权重模型Muse Spark Open，苹果则通过MLX框架，让这款模型在M5 Ultra版Mac Studio组成的集群上跑通了完整推理。 单就参数量而言，Muse Spark Open在目前公开参数的大模型中稳居第一梯队。

图源：苹果

尽管顶配版Mac Studio价格不菲，但它至少能放置在桌面上，并部署一个近万亿参数的模型，这一点本身就令人惊叹。相对而言，英伟达这边没那么夸张，他们的RTX Spark笔记本电脑只是将1200亿参数的模型塞进电脑而已。

过去人们思考的是如何将模型“压缩”后塞进显存；如今巨头们直接带头掀翻桌子，将“AI超级计算机”搬上办公桌。在小雷看来，这基本宣告个人AI PC正式迈入“千亿参数时代”。

看到这里，可能有读者会问：“8160亿参数以前不得用H100服务器集群跑吗？怎么塞进桌面Mac Studio里？”

核心在于MoE架构与高带宽统一内存的结合。什么意思？简单来说，Muse Spark Open虽有8160亿参数、256个专家网络，但每次生成Token只动态激活约420亿（42B）参数。

图源：英伟达

这就像拥有256名专科医生的超级医院，每次看病只需8名对口专家会诊，单次计算量接近42B级别的模型，却能利用816B模型庞大的参数规模。

但MoE有个致命门槛：模型的全部权重仍需存储在内存中，省得掉计算量，省不掉内存容量。所以，苹果和英伟达盯上了同一个解决方案：将CPU和GPU整合进一个芯片里，然后用超大统一内存硬吃模型权重。

苹果用2台配备512GB统一内存的M5 Ultra版Mac Studio，通过雷电5连接组成分布式推理集群，利用两台设备总计1TB的统一内存容量装下816B模型。在此基础上，还能通过四台Mac Studio进行并行推理，在苹果公布的测试中，四机生成速度超过36Token/秒，足以应付不少日常开发场景。

虽然与部分云端模型的速度无法相比，但本地部署能让敏感数据尽可能留在设备上，并在无网状态下使用，这对金融等领域的从业者极具吸引力。至于普通开发者，说实话还是云端算力更划算，因为部署一台512GB内存的M5 Ultra版Mac Studio，预计花费十万元以上，具体价格还得等苹果月底公布。

看到这里，估计不少朋友都钱包一紧。那么不买Mac Studio，买RTX Spark笔记本电脑呢？虽然便宜不少，但128GB版本也要4-5万，虽有内存价格过高的因素，但这个溢价也确实惊人。

花十几万部署AI大模型，到底图什么？

那么问题来了：既然终端部署大模型成本这么高，为什么还要推行？对个人用户而言到底有什么用？

说实话，如果日常只是做翻译、写文案之类的工作，云端API确实是最优解。但是，当对AI的需求进入更深层次时，云端AI就未必能满足所有要求了。以编程为例，随着代码规模增加，AI Agent在任务过程中产生的Token消耗也会剧增，其中相当一部分来自上下文回顾和测试。

这些额外推理成本并不低，尤其是当需要进行持续测试和监控时。但如果终端部署了120B，甚至816B的模型，情况就完全不同了。开发者可以将这些琐碎的推理任务拆分给终端模型，只有复杂任务才交给云端，那么边际推理成本就能大幅下降，不再需要为每次调用支付API费用。

图源：苹果

除此之外，就是那些关乎本地计算机和数据安全的任务，比如家庭智能设备管理、本地数据分析以及高保密要求的数据整理等需求，都可以通过部署终端模型来降低数据外传的风险。

对于律师、金融分析师和部分程序员来说，这些投入可能完全值得，毕竟一旦数据泄露，损失往往都不止那点设备成本。

另外，在AI视频创作领域，终端模型能够节省的云端生成费用就更多了。创作者完全可以在本地部署视频模型，然后以较低的边际成本反复生成视频，等得到满意的视频片段后，再上传到云端AI，生成细节更多、效果更好的完整视频，大幅降低前期“抽奖”的成本。

对于普通用户来说，确实没必要折腾大参数量的终端模型，但对于把AI当作生产力工具的用户而言，这就是一笔投资罢了。

英伟达追求便携，苹果狂堆算力

在小雷看来，英伟达其实想走的是“移动全能+CUDA生态下沉”路线。英伟达在RTX Spark上把定制Arm CPU与Blackwell GPU做成单芯片SoC，塞进华硕ProArt创16、联想YOGA Pro 15等轻薄机身。

同时还拉着微软在上市首日提供适用于Windows on Arm的原生PyTorch-CUDA版本（支持97%的热门Python软件包），还搞定了本地AI Agent（如爆火的OpenClaw“AI龙虾”）、ComfyUI RTX Video超分插帧和DLSS 5游戏等多场景适配。

配合NVIDIA PAIR技术，笔记本在家还能变成局域网“AI推理服务器”，供其他电脑调用。这些能力可以说直接戳中了移动开发者的需求。简单来说，RTX Spark是为那些多数时候都不在固定场所做开发，同时又对数据安全有很高要求的开发者准备的。

图源：华硕

在英伟达的构想中，RTX Spark PC可以作为开发者的随身小助手运行终端大模型，同时在能效上优于不少传统高性能笔记本电脑，在移动使用时也有不错的续航表现，同时还能兼顾创作、游戏等需求，也就是普适性。

而苹果就不同了，他们其实走的是“极致能效比+桌面集群扩展”的重资产路线。 这套能塞进816B模型的设备，苹果就不指望你背出门，而是希望它们在部分本地AI推理场景中，成为传统企业级服务器的替代方案。

其实对于小型企业和个人工作室来说，这套设备还是挺有吸引力的。毕竟相比昂贵的GPU服务器，以及配套的维护成本，二三十万的Mac Studio集群倒也显得没那么遥不可及了。

不管是RTX Spark还是Mac Studio，其实都证明了一件事**：“超大统一内存”正在成为AI PC进化的重要方向。** 虽然现阶段因为内存涨价、芯片成本等原因，导致这类产品价格居高不下，但从以往经验看，随着整个行业不断推进统一内存技术，相关产品的成本还是有望逐步下降的。

不过就目前而言，这些“真正的AI PC”，还是属于专业开发者、重度创作者和土豪极客的“玩具”。其中，苹果的多机并联方案是妥妥的“人民币玩家”专属，且512GB版月底才上市，而英伟达RTX Spark虽2599美元起售，但能爽跑120B模型的128GB满血版在国内普遍都要4万左右。值得注意的是，欧赔变化也反映出市场对这类高端AI硬件的关注度正在升温。

目前华硕ProArt创16 RTX Spark、联想YOGA Pro 15 RTX Spark等首批机型已开始上市，苹果512GB版M5 Ultra也将在月底揭晓定价。后续如果有机会，小雷或许能搞一台华硕ProArt创16 RTX Spark回来，给大家做个评测，敬请期待。

本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。