Normal view

There are new articles available, click to refresh the page.
Before yesterdayMain stream

仅需 40 万,4 台顶配 Mac Studio 串联,同时跑两个 DeepSeek 是什么体验?

By: 何宗丞
6 August 2025 at 11:53

几个月前,爱范儿在一台 M3 Ultra 的 Mac Studio 成功部署了 671B 的 DeepSeek 的本地大模型(4-bit 量化版)。而如果把 4 台顶配 M3 Ultra 的 Mac Studio,通过开源工具串联成一个「桌面级 AI 集群」,能否把本地推理的天花板再抬高一个维度?

这也是来自英国创业公司 Exo Labs 正尝试解决的问题。

 「不要以为牛津大学 GPU 多得用不完」

你可能会以为像牛津这样的顶级大学肯定 GPU 多得用不完,但其实完全不是这样。

Exo Labs 创始人 Alex 和 Seth 毕业于牛津大学。即使在这样的顶尖高校做研究,想要使用 GPU 集群也需要提前数月排队,一次只能申请一张卡,流程漫长而低效。

他们意识到,当前 AI 基础设施的高度集中化,使得个人研究者和小型团队被边缘化。

去年 7 月,他们启动了第一次实验,用两台 MacBook Pro 成功串联跑通了 LLaMA 模型。虽然性能有限,每秒只能输出 3 个 token,但已经足以验证 Apple Silicon 架构用于 AI 分布式推理的可行性。

转折点来自 M3 Ultra Mac Studio 的发布。512GB 统一内存、819GB/s 的内存带宽、80 核 GPU,再加上 Thunderbolt 5 的 80Gbps 双向传输能力——让本地 AI 集群从理想变成了现实。

同时跑两个 670 亿参数大模型是什么体验?

4 台顶配 M3 Ultra 的 Mac Studio 通过 Thunderbolt 5 串联后,账面数据相当惊人:

  • 128 核 CPU(32×4)
  • 240 个 GPU 核心(80×4)
  • 2TB 统一内存(512GB×4)
  • 总内存带宽超过 3TB/s

这样的组合几乎是一台家用级别的小型超算。但硬件只是基础,真正发挥效能的关键是 Exo Labs 开发的分布式模型调度平台 Exo V2。Exo V2 会根据内存与带宽状态将模型自动拆分,部署在最合适的节点上。

在现场,Exo V2 展示了以下核心能力:

  • 大模型加载:8-bit 量化后的 DeepSeek 完整载入需要 700GB 以上内存,单台 Mac Studio 无力承担。Exo 会将模型拆分部署到 2 台 Mac Studio 上完成加载。激活后,它的「打字速度」基本上超过了人的阅读速度。

  • 并行推理:在运行 DeepSeek V3 的基础上,又加载了同样 670 亿参数的 DeepSeek R1。系统立即将 R1 分配到剩余的两台设备上,实现两个大模型并行推理,支持多用户同时提问。

  • 文档私有问答:拖入公司财报 PDF,模型在本地完成知识嵌入与问答,不依赖任何云端资源,数据完全私有可控。

  • 轻量微调:若企业有数千份内部资料,可通过 QLoRA + LoRA 技术进行本地微调。单台微调需耗时数日,而通过 Exo 的集群调度能力,训练任务可线性加速,大幅缩短时间成本。

巨大的成本差异

爱范儿在现场后台观察拓扑图发现:即使 4 台机器同时处于高负载状态,整套系统功耗始终控制在 400W 以内,运行几乎无风扇噪音。

要在传统服务器方案中实现同等性能,至少需要部署 20 张 A100 显卡,服务器加网络设备成本超 200 万人民币,功耗达数千瓦,还需独立机房与制冷系统。

苹果芯片在 AI 浪潮中意外找到了新定位

M3 Ultra Mac Studio 的起售 32999 元,配备 96GB 统一内存,而 512GB 的顶配版本价格确实不菲。但从技术角度来看,统一内存架构带来的优势是革命性的。

在设计 M 芯片之初,苹果更多是为节能、高效的个人创作而生。但统一内存、高带宽 GPU、Thunderbolt 多路径聚合等特性,却在 AI 浪潮中意外找到了新定位。

传统 GPU 即使是最高端的工作站卡,显存通常也只有 96GB。而苹果的统一内存让 CPU 和 GPU 共享同一块高带宽内存,避免了数据在不同存储层级之间的频繁搬运,这对大模型推理来说意义重大。

当然,EXO 这套方案也有明显的定位差异。它不是为了与 H100 正面对抗,不是为了训练下一代 GPT,而是为了解决实际的应用问题:运行自己的模型,保护自己的数据,进行必要的微调优化。

如果说 H100 是金字塔顶的王者,而 Mac Studio 正在成为中小团队手中的瑞士军刀。

从技术的旁观者与记录者,成为技术影响生活方式的实践者。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博


在 HDC,华为给每个「走得慢的人」留了座位

By: 何宗丞
22 June 2025 at 18:15

在东莞松山湖湖畔,有一场持续了四年的特别对话。这里没有产品发布,也没有技术布道,取而代之的是一群不那么常出现在公众视野中的人。

他们中有人听不见,但却用身体「听」见了节拍;有人看不见,却用耳朵「阅读」世界;有人坐在轮椅上,却完成了超越常人的长途跋涉。

他们的声音,常常被淹没在技术飞奔的洪流中:听障用户通常在表达上受限,年长者少有在网络发声的机会。而他们,却是最有理由参与技术进化的那一群人。

「科技不让任何人掉队,无障碍创新源于真实需求。科技让每个人都能找到与世界对话的方式。」何刚说。

看不见世界,并不意味着不能拥有世界

高焱霞是中国残疾人艺术团「千手观音」第四代领舞演员。她自幼听力受损,却通过多年的专业舞蹈训练,培养出了惊人的节奏感和肢体控制能力。她用「看」的方式「听」音乐,用身体的韵律替代声波的节拍,完成了常人难以企及的表演。

王斌是一位轮椅跑者,却以惊人的毅力跑遍全国 14 个省市,累计参加超过 60 场马拉松、36 场半程马拉松。在伤后不久,他更以全院第一的成绩考入研究生。

科技让我完成了许多人以为我无法做到的事……成为推动我不断前行的动力。

与他们的交流令人深受触动。许多障碍人士对智能设备的熟练程度远超常人。

视障用户殷楠,从出生起就生活在「看不见」的世界里,他却能熟练运用科技突破壁垒。殷楠所佩戴的华为智能眼镜,成为他收听屏幕朗读的专属耳机。

他说:

健视者用眼睛浏览,我用耳朵「阅读」世界。屏幕朗读不是工具,是我们与世界对话的语言。

和他互留联系方式添加微信的过程,他能轻松从主屏幕调出二维码,效率极高。他还向我展示了自己的「非视觉摄影」作品。

看不见世界,并不意味着不能拥有世界。

殷楠拍摄的非视觉摄影作品

当然,他们对于科技的渴求,也比我们更加强烈。比如「小艺看世界」这个功能,对于普通人来说可能只是锦上添花,但对视障用户而言却是雪中送炭。

通过视觉识别出发实时对话与主动服务,小艺不仅能为视障用户读懂电梯按钮、识别药品说明,还能在照镜子时主动给出穿搭建议。

何刚说,小艺看世界能力的进化,AI 大模型功不可没。

过去小模型只能训练一个一个小的场景,那大模型可以把它串起来,形成一个完整的生活场景。

他说在大模型的加持下,未来视障用户出行时,小艺能实时识别盲道障碍物、路口红绿灯状态,并在公交到站时主动提醒目标车辆信息,真正构建起从起点到终点的全流程无障碍辅助。

不是为用户设计,而是与用户共建

作为一个健全人,如果没有走进这些对话,我们往往会掉进一些「理所当然」的误区:比如,轮椅用户为什么要跑马拉松?为什么他们也在追踪健康数据?

杜鹏是北京冬奥会和冬残奥会的特聘无障碍体验员,在轮椅上度过了 23 年,他就解答了这个「盲点」:于轮椅用户而言,运动不是兴趣,是生存所需。

长期久坐会导致压疮、代谢异常,甚至危及生命。穿戴设备能提醒我们定时减压、喝水、排尿,是非常重要的生活工具。

特别期待有一天,也可以自豪地在朋友圈「晒步数」,我们特别的「步数」。

这份期待,如今正在被回应——华为为轮椅用户开发的「活力三环」运动模式已完成原型。这个版本不会记录步数,而是记录轮椅的转动次数、运动时间和热量消耗,实现对行动健康的量化支持,弥补了传统健康监测对残障群体的忽视。

在过往,产品经理往往把无障碍视为产品中的一个 「功能」。但凡功能就有优先级,总有些功能会被边缘化。

而如果把信息无障碍视为用户体验的组成部分,你就会把每个需求当作真实个体的具象诉求。

湖畔论坛的意义,正是在于这样的开放式共创。不是为你设计,而是与你共建。 当每一个意见都被认真倾听,才能真正改变产品的方向。

一人行速,众人行远。如果没有开发者将无障碍能力规模化、普及到海量应用场景,无障碍的愿景仍然只是一个空中楼阁。

来自内容平台、语音识别、手语 AI 等多个技术领域的企业,在现场达成了一个共识:无障碍事业中,没有竞争对手,只有并肩前行的同行者。

在鸿蒙系统的无障碍技术基础上,华为开放了视觉识别与语音交互能力,并推出适配工具包,大幅降低开发门槛。越来越多生态伙伴参与其中——

科大讯飞用语音识别帮助听障者「看见」声音,云听通过语音助手完成信息播报,宝宝巴士则为视障儿童讲故事,为听障儿童创作动画内容;舞指科技将手语翻译成可视化语言,呈现在地铁、教室、舞台与大屏幕之中。

当我们谈论无障碍时,主语应该是每个人

我们为什么要关心无障碍?

答案很简单:因为这不是一个「他们」的问题,而是关乎所有人的问题。

我们也许很少在会用无障碍「功能」,但我们却无时不刻在使用「无障碍」的成果——

比如说每个职场人都会用的会议同传,比如你在看外语内容出现的字幕,其实很大程度上得益于隐藏式字幕、语音转文字这些无障碍功能。

作为北京冬奥会和冬残奥会的无障碍体验员,杜鹏如今每天划着轮椅穿梭在城市的大街小巷,体验并参与各地的无障碍改造。他分享了一个常被忽略的观察:

推婴儿车的新手父母、怀孕的妈妈、差旅人、搬运行李的人、送快递的小哥。都在使用坡道、直梯、无障碍卫生间等设施。

退休教师张亦文,显然也是受益于无障碍技术的普通人,尽管年过花甲,她却是朋友圈里的科技顾问。她反馈说,很多老人不是不想学,是真的跟不上。

视力不好,手指点不准,连滑动接听都可能错过来电。

看着她神采飞扬地讲述科技产品的点滴,一丝忧虑悄然爬上我的心头:未来有一天当我老眼昏花、步履蹒跚的时候,我是否还能保有这样鲜活的学习力?会不会有技术帮我这样的人一把,不被时代甩下太远?

也正是这样的同理心,让我发自内心的觉得,无障碍关乎每一个人,关心每一个年长用户的需求,就是关爱未来的我们自己。

而无障碍不是给世界打补丁,而是让世界承认:它本就该兼容所有生命形态。

从技术的旁观者与记录者,成为技术影响生活方式的实践者。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博


❌
❌