APPSO 获悉，大模型独角兽阶跃星辰近日完成了数亿美元的 B 轮融资。本轮融资的核心投资方包括上海国有资本投资有限公司及其旗下基金，战略和财务投资人包括腾讯投资、五源资本和启明创投等。

据悉，这笔融资将用于继续推进研发基础模型，强化其多模态和复杂推理能力，并通过产品和生态加大对 C 端应用场景的覆盖，为用户提供丰富多元的使用体验。

数据显示，2024 年下半年阶跃星辰多模态 API 的调用量增长超 45 倍。过去 10 个月，阶跃星辰共发布 11 个自研基座模型，其中 Step 系列模型多次在国内外权威大模型评测榜单上位列「中国第一」。

阶跃星辰主打「万亿+多模态」的 Step 系列基座模型研发速度快，性能保持国内领先。目前，越来越多的开发者正在基于其多模态大模型创造更丰富的 C 端应用功能和体验，通过原生 AI 应用挖掘并满足新的消费场景。

公司战略围绕「有真实需求」且「能带来用户体验创新」的场景展开，聚焦「超级模型」+「超级应用」，通过自研与生态合作的结合，以其基座大模型的能力为基础，专注于为 C 端用户打造创新体验。

从基座模型来看，阶跃星辰是国内少数已经形成了从理解到生成、从文本到多模态的全系列模型矩阵的大模型创业公司之一。未来，公司将坚持预训练，并将继续向 AGI（通用人工智能）发起冲击。

产品业务方面，阶跃星辰推出了支持多模态交互的智能助手「跃问」，其多模态智能视觉搜索功能「拍照问」是国内首个集成至 iPhone 16 相机控制按键的功能。

开发者正在基于其多模态大模型创造更丰富的 C 端应用功能和体验。网红 AI 应用「胃之书」能够帮助用户以更快捷有趣的方式记录饮食；AI 心理疗愈应用「林间聊愈室」则实现了用户和疗愈产品之间的多模态互动。

在智能终端领域，阶跃星辰还与 OPPO 和荣耀等头部手机厂商合作研发大模型技术；在内容创作领域，阶跃星辰先后与中文在线、中国知网达成战略合作，探索如何利用大模型技术激发多种内容创作场景的生产和需求。

金融财经领域中，其与界面财联社合创的大模型科技公司「财跃星辰」推出了能够为用户提供 AI 数据挖掘和财报解读等功能的金融行业垂直大模型「Finstep」和 C 端私人财富助理「小财神」。此外，阶跃星辰还联合国泰君安、界面财联社推出了业内首个千亿级参数多模态证券垂直类大模型「君弘灵犀大模型」。

阶跃星辰创始人、CEO 姜大昕规划公司实现 AGI 的路线是「单模态——多模态——多模理解和生成的统一——世界模型——AGI」。随着国内大模型「六小龙」竞争的不断加剧，阶级星辰将在基座模型和 C 端产品两个方面持续发力，力争面向多个领域，为不同的用户群体提供更先进的大模型产品。

除了丰富的 C 端产品业务，阶跃星辰还推出了性能优异的 Step 系列通用大模型。以下是其简要产品介绍：

• Step-1：千亿参数语言大模型，逻辑推理、中英知识、数学、代码性能超越 GPT-3.5；
• Step-1V：多模态大模型，精准理解图像文字、数据、图表，具备内容创作、逻辑推理、数据分析等能力；
• Step-1X：图像生成大模型，具备强大语义理解与图像创意实现能力；
• Step-Video：视频生成大模型，支持生成 1080P、10s 高清视频，擅长语义理解、指令遵循、运动、中国风美学生成；
• Step-tts-mini：语音复刻和生成大模型，上传 5s 音频即可精准复现个体音色特征和情绪；
• Step-Asr：语音识别大模型，能识别不同口音并精准转化为文字；
• Step-2：万亿参数语言大模型，采用 MoE 架构，语言生成细节控制力强，理解和遵循人类指令能力突出，在「LiveBench」评测榜单上位居中国第一，全球第五；
• Step-1.5V：迭代版多模态大模型，多模态理解能力更强，实现了从图像理解到视频理解的跨越；
• Step-1.5v-turbo：视频理解模型，准确识别视频物体、人物、环境，理解视频氛围和人物情绪，指令跟随能力强；
• Step-1o Audio：千亿参数端到端语音大模型，支持语音、文本混合输入输出，反应快速，能够提供自然、高智商、高情商交互体验；
• Step-1-flash：极速版大模型，用于处理通用领域任务，支持 8K 上下文长度，首字延迟低、输出速度快。

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博

近日，苹果与英伟达宣布合作，旨在加速和优化大语言模型（LLM）的推理性能。

为了改善传统自回归 LLM 推理效率低和内存带宽小的问题，今年早些时候，苹果机器学习的研究人员发布并开源了一种名为「ReDrafter」（Recurrent Drafter，循环草稿模型）的推测解码技术。

目前，ReDrafter 已经整合到英伟达的可扩展推理方案「TensorRT-LLM」当中，后者是基于「TensorRT」深度学习编译框架的专为优化 LLM 推理而设计的开源库，支持包括「Medusa」等推测解码方法。

不过，由于 ReDrafter 所包含的算法使用了之前从未用过的运算符，因此英伟达方面添加了新的运算符，或者公开了现有的运算符，大大提高了 TensorRT-LLM 适应复杂模型和解码方式的能力。

据悉，ReDrafter 推测解码通过三个关键技术来加速 LLM 的推理过程：

• RNN 草稿模型
• 动态树注意力算法
• 知识蒸馏训练

RNN 草稿模型是 ReDrafter 的「核心」组件。它使用循环神经网络（Recurrent Neural Network），基于 LLM 的「隐藏状态」来预测接下来可能出现的 tokens 序列，其能够捕捉局部的时间依赖性，从而提高预测准确性。

这个模型的工作原理是：LLM 在文本生成过程中首先生成一个初始 token，然后 RNN 草稿模型利用该 token 和 LLM 的最后一层隐藏状态作为输入进行束搜索（Beam Search），进而生成多个候选 tokens 序列。

与传统自回归 LLM 每次只生成一个 token 不同，通过 RNN 草稿模型的预测输出，ReDrafter 能够在每个解码步骤生成多个 tokens，大大减少了需要调用 LLM 验证的次数，从而提高了整体的推理速度。

动态树注意力算法（Dynamic Tree Attention）则是一种优化束搜索结果的算法。

我们已经知道，在束搜索过程中会产生多个候选序列，而这些序列往往存在共享的前缀。动态树注意力算法会识别出这些共享前缀，并将它们从需要验证的 tokens 中去除，从而减少 LLM 需要处理的数据量。

某些情况下，该算法能将需要验证的 tokens 数量减少 30% 到 60%。这意味着使用动态树注意力算法后，ReDrafter 能够更高效地利用计算资源，进一步提高推理速度。

知识蒸馏是一种模型压缩技术，它能够将一个大型、复杂的模型（教师模型）的知识「蒸馏」到一个更小、更简单的模型（学生模型）中。在 ReDrafter 中，RNN 草稿模型作为学生模型通过知识蒸馏从 LLM（教师模型）中学习。

具体来讲，蒸馏训练过程中，LLM 会给出一系列下一个可能词的「概率分布」，开发人员会基于这个概率分布数据训练 RNN 草稿模型，然后计算两个模型概率分布之间的差异，并通过优化算法使这个差异最小化。

在这个过程中，RNN 草稿模型不断学习 LLM 的概率预测模式，从而在实际应用中能够生成与 LLM 相似的文本。

通过知识蒸馏训练，RNN 草稿模型更好地捕捉到语言的规律和模式，从而更准确地预测 LLM 的输出，并且因为其较小的规模和较低的推理计算成本，显著提高了 ReDrafter 在有限硬件条件下的整体性能。

苹果的基准测试结果显示，在 NVIDIA H100 GPU 上对数十亿参数的生产模型使用集成了 ReDrafter 的 TensorRT-LLM 时，其贪心解码（Greedy Decoding）每秒生成的 tokens 数量提高了 2.7 倍。

此外，在苹果自家的 M2 Ultra Metal GPU 上，ReDrafter 也能实现 2.3 倍的推理速度提升。苹果的研究人员表示「LLM 越来越多地用于驱动生产应用程序，提高推理效率既可以影响计算成本，也可以降低用户端延迟」。

值得一提的是，在保持输出质量的同时，ReDrafter 减少了对 GPU 资源的需求，这使得 LLM 在资源受限的环境中也能高效地运行，为 LLM 在各种硬件平台上的使用提供了新的可能性。

苹果目前已经在 GitHub 上开源了这项技术，未来从中获益的公司将很可能不止英伟达一家。

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博

智谱近期完成了新一轮三十亿人民币融资，本轮融资的新投资方包括多家战投及国资，老股东君联资本等继续跟投。这是智谱近期可查的第二轮融资。

据悉，本轮融资将用于智谱 GLM 大模型系列的研发工作，旨在从简单的问题回答扩展到解决更复杂的推理和多模态任务，以更好地服务于行业生态的发展。

2024 年，智谱业务保持高速增长态势，同去年相比，智谱今年以来的商业化收入增长超过 100%。目前，智谱的估值已经率先超过 200 亿，是估值最高的大模型公司之一。

产品业务方面，智谱推出的全模态 AI 助手「智谱清言」app 用户超 2500 万，年化收入超千万；其推出的 MaaS 开放平台 bigmodel.cn 已有 70 万企业和开发者用户使用，日均 Tokens 消耗量增长 150 倍，API 年收入同比增长超 30 倍。

智谱始终坚持大模型创新，基座模型性能保持国内领先。据悉，智谱开源的 ChatGLM 等 50 余款模型全球累计下载量超过 3000 万，获得超 15 万 GitHub 星标。智谱也因此成为了国内大模型领域星标数最多的企业。

另外，智谱是国内唯一入选「TechCrunch」评选的全球 15 家新晋 AI 独角兽 Unicorn Board 榜单的企业。公司还入选了福布斯中国创新力企业 50 强和 Hugging Face 平台最受欢迎人工智能机构。

2020 年底，智谱研发了 GLM 预训练架构；2021 年完成百亿参数模型 GLM-10B 的训练；2022 年开发了中英双语千亿级超大规模预训练模型 GLM-130B 并开源；2023 年推出千亿基座对话模型 ChatGLM 并两次升级，开源版本的 ChatGLM-6B 使得大模型开发者能够在本地进行模型的微调和部署。

2024 年，智谱继续高歌猛进，发布了一系列比肩世界领先水平的大模型产品和技术：

• 1 月：发布了新一代基座大模型 GLM-4，性能显著提升，支持更长上下文和更强多模态能力，推理速度更快，支持更高并发，降低了推理成本；
• 6 月：开源了 GLM-4-9B 模型，支持长文本处理和多语言，同时开源了基于 GLM 的视觉模型 GLM-4V-9B，其多模态能力与 GPT-4V 相当；
• 7 月：视频生成模型「清影」正式上线，提供文本和图像生成视频服务，能在 30 秒内生成 6 秒视频，真实还原物理世界运动；
• 8 月：发布了国内首个跨文本、音频和视频模态的实时推理大模型 GLM-4-Videocall，实现了 AI 与人的实时视频通话；推出了新一代基座大模型 GLM-4-Plus，性能全面提升，与国际标杆 GPT-4o 水平相当；
• 10 月：发布了 GLM-4-Voice 端到端情感语音模型，并集成到清言 app 中，支持情感理解、情绪表达、多语言和方言；推出了 AutoGLM 内测版，能模拟人类操作手机，执行各种任务，不受限于 API 调用；
• 11 月：发布了 AutoGLM 升级版，能执行超过 50 步的长步骤操作，跨 app 执行任务，支持基于浏览器的网站无人驾驶；推出了 GLM-PC 内测，基于多模态模型 CogAgent，探索「无人驾驶」PC 技术，能代替用户执行多种电脑操作；升级了视频模型 CogVideoX，支持生成 10 秒时长、4K、60 帧超高清画质视频，具备更好的人体动作和物理世界模拟，同时开源了 CogVideoX v1.5-5B 和 CogVideoX v1.5-5B-I2V 模型。

此外，智谱的业务范围覆盖智能汽车、制造、大消费、金融、政务服务、医疗健康、游戏娱乐和文化旅游等多个行业。公司近期推出的 Agent 则进一步推动了大模型在智能设备中的应用。

智谱的全球化战略也在加速推进，公司已在美国、英国和法国等多国和地区设立了地区总部、分公司和研究中心，并作为唯一的中国公司，与 OpenAI、谷歌、微软、Meta 等世界一流大模型公司签署了前沿人工智能安全承诺。

智谱的愿景是「让机器像人一样思考」，致力于打造新一代认知智能大模型。未来，智谱将通过大模型链接物理世界的亿级用户，为千行百业带来持续创新与变革，加速迈向通用人工智能的时代。

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博

聚焦端侧大模型的清华系 AI 公司面壁智能，近日获得了新一轮数亿元融资。

APPSO 获悉，本轮融资的领投方为龙芯创投、鼎晖百孚、中关村科学城基金和赛富基金，跟投方为北京市人工智能产业投资基金与清科创投，并由万甲资本担任本轮独家财务顾问。

本轮融资完成后，面壁智能表示，公司将进一步提速以「端侧 AI」为代表的高效大模型商业化布局，以同等参数、更高性能、更低能耗、更快速度的高效大模型深度服务行业，为用户创造「具体可感知」的价值。

面壁智能是一家以「高效为第一性原理」为信条的大模型公司，高效是其团队的内在基因。据悉，面壁团队先于国内所有团队开启大模型研究，并且首批实现了千亿多模态模型的落地，提供了全球领先的端侧智能解决方案。

业务方面，面壁智能团队在多个领域内卓有成效、进展迅速。其不仅将主流消费电子和新兴硬件融入端侧 AI，得益于在自然语言处理方面的技术渊源和优质行业数据的深厚积累，面壁团队还在法律、教育等垂直领域方面有所建树。

面壁智能 CEO 李大海表示，大模型比拼已经进入了「持久战」阶段。此外，他认为面壁智能将在端侧智能领域保持竞争力，并正在建立属于自己的市场地位。

面壁智能成立与 2022 年 8 月，其核心科研成员来自清华大学 NLP 实验室，是国内最早一批做预训练大模型的团队之一，至今已经推出多款人工智能大模型产品：

• 2023 年 11 月 14 日，面壁智能多模态大模型应用「面壁露卡 Luca」正式面向公众开放服务；
• 2023 年 11 月 15 日，面壁智能推出基于群体智能的 AI 原生应用「面壁智能 ChatDev」智能软件开发平台，同时将其 CPM 系列基座模型升级为全新一代千亿参数大模型「面壁智能 CPM-Cricket」；
• 2024 年 2 月，面壁智能发布开源端侧模型「MiniCPM」，是其「大模型+智能体」双引擎战略的关键一步；
• 2024 年 9 月，面壁智能推出「小钢炮」系列的最新产品「MiniCPM 3.0」。

值得一提的是，2023 年 7 月，面壁智能、人民法院出版社和深圳迪博共同助力深圳中院，正式启用全国首个「司法审判垂直领域大模型」；同年 11 月，面壁智能作为联合研发团队参与的「法信法律基座大模型」在最高法发布，定位为国家级法律人工智能基础设施。

另外，面壁智能正在与华为、联发科技、联想、英特尔、长城汽车和易来智能等行业标杆企业紧密协作，业务覆盖 AI Phone、AIPC、智能座舱、智能家居与具身机器人等领域。

面壁智能预计，GPT-4 水平的端侧模型将在 2026 年年底实现。

本轮融资完成后，李大海发布了面壁智能全员信。附上信件全文如下：

面壁智能的同学们，大家好！

很高兴和大家分享，面壁智能完成了新一轮数亿元融资，这轮融资由龙芯创投、鼎晖百孚、中关村科学城基金和赛富基金联合领投，北京市人工智能产业投资基金与清科创投跟投。

随着这轮融资敲定，我们已站在一个全新的台阶上：将进一步提速以端侧 AI 为代表的高效大模型商业化布局，以同等参数、更高性能、更低能耗、更快速度的高效大模型深度服务行业，为用户创造具体可感知的价值。

过去一年，以成绩说话，我们的小钢炮端侧模型，在全球一炮而红，站稳脚跟。我们基于高效大模型和端侧AI的商业化布局和业务推进，多点开花，进展迅速。

依靠小规模的精益创业团队，我们把MiniCPM推向了端侧 ChatGPT、GPT-4V 时刻；携手华为、联发科技、联想、英特尔、长城汽车、梧桐科技、易来智能等标杆合作伙伴，成为 AIPC、AIPhone、智能座舱、具身机器人等行业创新发展中不可或缺的角色；并且深度参与国家级人工智能基础设施「法信法律基座大模型」的构建。

今天，在中国大模型「6+2」格局里，我们成为极具辨识度和竞争力的代表。在全球范围，面壁也是端侧智能的标杆，上榜《财富》全球人工智能创新 50 强！

这是小钢炮精神的胜利！我们值得骄傲！

同样的时间，更前瞻的判断；同样的资源，更具爆发力的创造；同样的机遇，一杆子捅到底解决行业与客户痛点的决心。

把高效发挥到极致，创造超预期成果，底气来自我们对大模型本质规律的深刻认知，基于高效为第一性原理的研发、产品与组织基因！

走先人一步的路，打以少胜多的仗，这就是响当当的小钢炮精神！

回顾过去一年，我们做对了几件事：

1. 超前认知，以更小的样本，预判技术和产品方向。
2024 年下半年，行业突然形成新共识，更高知识密度的小模型和端侧智能，成为大模型发展的新阶段。如今，因为端侧智能发展的深刻影响，主流消费电子和新兴硬件正演变成一个个在不同场景、执行特定任务的超级智能体，成为新一轮科技创业大风口。
面壁智能提前半年多，在世界范围内前瞻性发现端侧智能内蕴的巨大研究空间和应用潜力。在这个瞬息万变、竞争激烈、又充满想象力的市场里，大举发力端侧模型，打造享誉全球的面壁「小钢炮」MiniCPM，我们成功构建起了基本盘。

2. 技术筑基，以先进技术为基，务实服务垂直行业，快速复用和价值放大。
有一个行业的高质量数据，就能快速赋能一个行业打造基座大模型。面壁发挥在文本基座模型的技术渊源和专业数据的深厚沉淀，今年 7 月，面壁智能、人民法院出版社、深圳迪博共同助力深圳中院，正式启用全国首个司法审判垂直领域大模型， 应用范围已覆盖所有常见民商事案件，行政案件。11 月，面壁智能作为联合研发团队参与的法信法律基座大模型在最高法发布，法信法律基座大模型定位为国家级法律人工智能基础设施。未来，全国数以千计的法院、检察院、司法系统单位，都将能成为我们有所贡献的地方。

3. 以小博大，提出大模型的面壁定律、密度定律，通过大模型科学化越级超越同类产品。
自今年 2 月份面壁「小钢炮」MiniCPM 端侧模型系列面世以来，累计下载突破 300 万，频频登顶全球著名开源社区 GitHub、HuggingFace 的大模型趋势榜单。MiniCPM 不仅在多项基准测试中接连越级领先，还将无限长文本、超清 OCR 识图、实时视频理解等首次集成到端侧，创造多项纪录。
面壁小钢炮以小博大、高效低成本特性，背后是我们坚持大模型科学化，以更本质的模型知识密度（知识密度 = 模型能力 / 参与计算的模型参数）指导技术研发和模型迭代。我们不断创新性提出大模型面壁定律、密度定律等引领性的大模型科学方法论，立志将更高性能的端侧智能技术带入千家万户、千行百业。

所有的领先，往深处都是认知的领先；任何商业竞争，归根结底都是效率的比拼。
高效，不仅是我们企业运营的核心；在商业环境中，也意味着更快的响应速度、更低的成本、更高的产出和更好的客户满意度。
感谢面壁智能的全体同仁，我们正在创造一场极致高效的大模型研发与商业奇迹！
坚韧、顽强，能量十足，面壁小钢炮已经开始震动全球。小钢炮精神，正带领我们走向 AGI 的最终胜利！

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博