在这波 AI 浪潮中，面壁智能是国内少有选择 All In 端侧模型的头部大模型厂商。

自从面壁智能 2 月份发布性能小钢炮 1.0 后，接连几月陆续迭代升级，其中后续推出的开源模型 MiniCPM-Llama3-V 2.5 更是因为强悍的实力遭到了斯坦福 AI 团队的抄袭。

四月份，面壁智能 CTO 曾国洋还曾预言，GPT-3.5 级别的模型将在一两年内就能在移动设备上运行。

好消息是，不用再等一到两年了，因为今天发布的 MiniCPM 3.0 实现了初代小钢炮发布时立下的 Flag：今年内让 GPT-3.5 水平的模型在端侧跑起来。

仅 4B 参数，以小博大，性能超越 GPT-3.5，MiniCPM 3.0 也标志着「端侧 ChatGPT」时刻的到来。

简单来说就是，MiniCPM 3.0 的面世意味着用户未来能体验到快速、安全、且功能丰富的本地 AI 服务，无需依赖云端处理，以及获得更流畅、更私密的智能交互体验。

从官方分享的基准测试来看，MiniCPM 3.0 在 CMMLU、CEVAL 等考究中文能力的基准测试中一骑绝尘，轻松碾压 Phi-3.5、以及 GPT-3.5 等模型。

而即便是对上了 8B、9B 等国内优秀的大模型，MiniCPM 3.0 的表现同样相当出众。

简单总结一下 MiniCPM 3.0 的特点：

• 无限长文本，榜单性能超越 Kimi
• 端侧最强 Function call，性能比肩 GPT-4o
• 超强的 RAG 外挂三件套，中文检索、中英跨语言第一

无限长文本，性能超越 Kimi

小而强、小而全，或许是 MiniCPM 3.0 最贴切的形容词。

上下文长度是衡量大模型基础能力的一项重要特性，更长的上下文长度意味着模型能够存储和回忆更多的信息，从而有助于模型更准确地理解和生成语言。

举例来说，更长的上下文长度能够让一个 AI 写作工具根据用户之前写的内容提供更相关的建议，或者根据更多的背景信息创作出更复杂、更引人入胜的故事。

为此，面壁提出了 LLMxMapReduce 长本文分帧处理技术。

这是一种通过将长上下文切分为多个片段，让模型并行处理，并从不同片段中提取关键信息，汇总最终答案，实现无限长文本。

据悉，这一技术普遍增强了模型处理长文本的能力，且在文本不断加长的情况，仍保持稳定性能、减少长文本随加长掉分情况。

从 32K 到 512K，MiniCPM 3.0 能够打破大模型记忆的限制，将上下文长度无限稳定拓展，用面壁官方的话来说就是「想多长就多长」。

从大模型长文本的基准测试 InfiniteBench 结果来看，随着文本长度的增加，4B 参数的 MiniCPM 3.0 的性能优势反而愈发明显。

InfiniteBench Zh.QA 评测结果显示，4B 参数的 MiniCPM 3.0 整体性能优于 Kimi，在更长的文本上显示出相对更强的稳定性。

端侧最强 Function call，性能比肩 GPT-4o

在接受 APPSO 等媒体的采访时，曾国洋也表示，MiniCPM 3.0 针对用户关注的一些能力进行了提升，比如加入了完整的 system prompt Function Calling 和 code interpreter 等能力。

其中 Function Calling（函数调用）能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令，并让大模型连接外部工具和系统。

具体来说，通过语音在手机上调用日历、天气、邮件、浏览器等 APP 或相册、文件等本地数据库，从而打开终端设备 Agent 应用的无限可能，也让人机交互更加自然和方便。

据介绍，MiniCPM 3.0 宣称拥有端侧最强 Function Calling 性能 ，在 Berkeley Function-Calling Leaderboard 榜单上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等众多模型。

曾国洋表示，现有的开源模型在这些能力上的覆盖并不全面，通常只有一些云端的大型模型能够完全覆盖这些能力。现在，MiniCPM 3.0 也实现了一些相应的功能。

以 RAG（检索增强生成）为例，这是一种结合了信息检索（IR）和自然语言生成（NLG）的技术。

它通过从大规模文档库中检索相关信息来指导文本的生成过程，能够提升模型在回答问题、生成文本等任务中的准确性和可靠性，减少大模型的幻觉问题。

对于法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业来说，大模型+RAG 在行业中尤其实用。

MiniCPM 3.0 一口气上线了 RAG 三件套：检索模型，重排序模型和面向 RAG 场景的 LoRA 插件。

MiniCPM-Embedding（检索模型）中英跨语言检索取得 SOTA 性能，在评估模型文本嵌入能力的 MTEB 的检索榜单上中文第一、英文第十三。

MiniCPM-Reranker（重排序模型）在中文、英文、中英跨语言测试上取得 SOTA 性能。

经过针对 RAG 场景的 LoRA 训练后，MiniCPM 3.0-RAG-LoRA 在开放域问答（NQ、TQA、MARCO）、多跳问答（HotpotQA）、对话（WoW）、事实核查（FEVER）和信息填充（T-REx）等多项任务上的性能表现，超越 Llama3-8B 和 Baichuan2-13B 等业内优秀模型。

模型应用落地，先跑起来再说

在接受 APPSO 等媒体的采访时，面壁智能 CEO 李大海提到，能跑起来和真正流畅地去做应用是两个不同的概念。

而经过优化后的 MiniCPM 3.0 对端侧设备的资源需求很低，量化后仅需 2.2 G 内存，iPad 端侧推理也能达到 18-20 tokens/s。

对于 iPad 这样的移动设备来说，每秒能够处理 18-20 个 token 的速度已经意味着模型能够实时处理自然语言输入。

比如在语音识别或实时翻译应用中，用户基本不会感受到明显的延迟，享受到相对流畅的交互体验。

另外，相较于云端模型，作为端侧模型的面壁小钢炮 MiniCPM 系列模型还天然具有弱网、断网可用、超低时延、数据隐私安全等本地优势。

在贡嘎雪山附近游玩时，想知道欣赏「日照金山」的最佳姿势，网络不佳的你可以向 MiniCPM 3.0 发出提问。

又或者，如果你是「赶海」的新人，站在波涛汹涌的海岸边，却想要满载而归，那不妨可以遵循 MiniCPM 3.0 给出的建议。当你抬头仰望夜空时，萌生了捕捉星轨的念头，MiniCPM 3.0 也能给你将拍摄的细节娓娓道来。

MiniCPM 小钢炮系列飞速进步的背后是一以贯之的高效大模型第一性原理。

面壁智能首席科学家刘知远曾提出一个大模型时代的「摩尔定律」，即大模型的知识密度平均每 8 个月将提升一倍。

知识密度=模型能力/参与计算的模型参数

具体来说，随着模型知识密度的持续增强，2020 年 GPT-3 175B 能力到 2024 年 MiniCPM 2.4B 模型即可达到，2022 年底 ChatGPT 首次亮相内置的 GPT-3.5 到 2024 年 MiniCPM 3.0 模型即可达到。

基于此，如果说 MiniCPM 追求的是极致端侧性能表现，那么 MiniCPM-V 追求的是极致多模态创新表现，面壁小钢炮的进步不是单方面的进步，而是端侧双旗舰的齐头并进。

经过一两年的技术摸索，AI 大模型正逐步进入落地应用的深水区。

李大海认为，大模型具有两个大方向的价值，一个方向的价值叫做升级旧世界，第二个方向的价值则是发现新大陆。

比如苹果整合 ChatGPT 服务到 Apple Intelligence 中便是一个典型的例证。

端侧模型也是如此，通过在手机、汽车还有 PC 这样的场景里面，更适合做的事情是去服务好终端的厂商，然后让终端厂商因为有了端侧模型，整个系统层级的体验也变得更好。

只不过，在技术到产品的惊险一跃中，厂商也需要投入大量时间来融合用户需求与技术。

正如李大海所言，尽管移动互联网自 iPhone 问世以来就已经存在，但真正大规模增长和被验证的应用确实是数年后才开始涌现。

实际上，面壁智能也一直在探索落地应用的场景。

此前，面壁小钢炮 MiniCPM 端侧模型已经在 PC、平板、手机等领域上实际运行。

前不久，面壁智能也在 WAIC 上联手加速进化机器人，打造出完整「具身智能」的先驱方案，这也是业界首个高效端侧模型运行在人形机器人的演示，理解、推理、并与物理世界互动的智能系统。

李大海也向 APPSO 等媒体剧透，预计在年底前将会有配备面壁智能端侧模型的产品上市。

简言之，面壁智能不断将高效高性能大模型放到离用户最近的地方，让大模型的能力像电力一样被随意调用、无处不在、普适且安全。

在这个过程，更多的人也能尽快地享受到大模型的价值和作用。

MiniCPM 3.0 开源地址：

GitHub:
https://github.com/OpenBMB/MiniCPM
HuggingFace:
https://huggingface.co/openbmb/MiniCPM3-4B

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博

过去半年，大模型的风向悄然变迁，与以往不断追求规模的趋势不同，更小更强的端侧模型成了当下的香饽饽。

前不久，在遭斯坦福大学 AI 团队抄袭后，国内头部大模型厂商面壁智能狠狠地刷了一波存在感，也让国内外见识到了这家公司在 AI 领域的不凡实力。

今天，面壁智能重磅上新了「小钢炮」MiniCPM-V 2.6 模型，再次将端侧多模态能力提升到了一个新的高度。

尽管该模型仅有 8B 参数，但它在 20B 以下单图、多图、视频理解 取得了 3 SOTA 成绩，一举将端侧 AI 多模态能力拉升至全面对标超越 GPT-4V 水平。

简单划重点：

• 首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V，单图理解越级比肩 Gemini 1.5 Pro 和 GPT-4o mini。
• 引入实时视频理解、多图联合、ICL 视觉学习、OCR 等，开启端侧模型真实世界观察与学习。
• 小钢炮 2.6 取得了两倍于 GPT-4o 的单 token 编码像素密度。视觉 token 相比上一代下降 30% ，比同类模型低 75%。
• 量化后端侧内存仅占 6 GB；端侧推理速度高达 18 tokens/s，相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理；且支持多种语言。

「长眼睛」的实时视频理解首次上端，让智能设备更懂你

先来感受一下 MiniCPM-V 2.6 模型的实际演示效果。

视频中显示，在多模态能力的加持下，MiniCPM-V 2.6 犹如长了一双「眼睛」，能够实时看到真实世界。在开启飞行模式的情况下，搭载该模型的端侧设备能够精准地识别面壁智能公司的室内场景。

从面壁智能公司的 Logo、到植物、办公桌、饮水机等物品，MiniCPM-V 2.6 的物品识别能力表现得毫无压力，甚至可以说是游刃有余。

面对小票繁多的记账或报销流程，只需拍照上传至 MiniCPM-V 2.6，它不仅能够识别出每张小票的具体金额，还能计算出总和，极大地简化了整个流程。

得益于其先进的 OCR 和 CoT（思维链）技术，MiniCPM-V 2.6 不仅能准确捕捉小票上的金额，还能以清晰简洁的方式呈现解题过程：

对于「太长不看」的视频，现在你可以直接让该模型为你提炼关键信息。

比如面对一段 1 分钟左右的天气预报视频，MiniCPM-V 2.6 可以在无声的条件下，用「肉眼」识别并描述不同城市的具体天气情况。

MiniCPM-V 2.6 的端侧多模态复杂推理能力也有所「长进」。

以 GPT-4V 经典的官方演示——调整自行车车座为例，MiniCPM-V 2.6 能通过多轮对话清晰指导用户调低自行车车座，并根据说明书和工具箱推荐合适的工具。

又或者， 2G 网速的你看不懂年轻人广为传播的梗图，那不妨让其耐心地给你解释梗图背后的槽点。

甚至它还能比人类更有幽默细胞，捕捉到梗图中的潜台词。作为程序员的你也许看着这张图，笑着笑着就哭了。

以小胜大，MiniCPM-V 2.6 号称三合一最强端侧多模态

以小博大，是端侧模型的核心竞争力。

据面壁智能官方介绍，在 MiniCPM-V 2.6 的知识压缩率方面，MiniCPM-V 2.6 取得了两倍于 GPT-4o 的最高多模态大模型像素密度（Token Density）。

Token Density = 编码像素数量 / 视觉 token 数量，是指单个 token 承载的像素密度即图像信息密度，直接决定了多模态模型实际的运行效率，数值越大，模型运行效率越高。

闭源模型的 Token Density 由 API 收费方式估算得到。结果表明 MiniCPM-V 2.6 是所有多模态模型中 Token Density 最高的，延续了其一贯的极致高效特点。

从分享的基准测试结果来看， MiniCPM-V 2.6 在综合评测权威平台 OpenCompass 上，单图理解能力越级超越 Gemini 1.5 Pro 和 GPT-4o mini。

在多图评测平台 Mantis-Eval 榜单上，MiniCPM-V 2.6 多图联合理解能力实现开源模型 SOTA ，且超越 GPT-4V。在视频评测平台 Video-MME 榜单上，MiniCPM-V 2.6 的视频理解能力达到端侧 SOTA，超越 GPT-4V。

此外，MiniCPM-V 2.6 OCR 性能在 OCRBench 上实现开源+闭源模型 SOTA。

在幻觉评测榜单 Object HalBench 上，MiniCPM-V 2.6 的幻觉水平（幻觉率越低越好）也都优于 GPT-4o、GPT-4V、Claude 3.5 Sonnet 等众多商用模型。

新一代小钢炮 MiniCPM-V 2.6 交出优秀成绩单的背后，主要归功于其采用了统一高清视觉架构。

官方表示，统一高清视觉框架，不仅继承了传统单图的多模态优势功能，更实现了一通百通。

例如，OCR SOTA 能力 将 MiniCPM-V 单图场景的「180 万高清图像解析」进行能力迁移和知识共享，无缝拓展至多图场景和视频场景，并将这三种视觉理解场景统一形式化为图文交替的语义建模问题，共享底层视觉表示机制，实现相比同类型模型，视觉 token 数量节省超过 75% 。

在 OCR 信息提取的基础上，MiniCPM-V 2.6 还能进一步对表格信息进行类似 CoT（思维链）的复杂推理。

以 2008 年奥运会为例，该模型能够计算出获得金牌数最多的三个国家共获得的金牌总数。

[图片]

这一过程包括：

1.  利用 OCR 能力识别并提取奖牌榜中金牌数量的前三名国家；
2.  将这三个国家的金牌总数进行相加。

在 AI 可信度方面，MiniCPM-V 2.6 以 8.2% 的幻觉率，延续了小钢炮系列的传统优势。此外，面壁 RLAIF-V 的对齐技术，以及 Ultra 系列对齐技术的应用等技术也都是藏在 MiniCPM-V 2.6 背后的黑科技。

官方数据显示，小钢炮系列下载量已破百万。从开启端侧部署，多模态能力先河，到最强端侧多模态模型，再到端侧全面对标 GPT-4V 的新时代，面壁智能只用了短短半年的时间。

「聪明、流畅，快得不像一款端侧模型！」这句话，是对小钢炮系列最贴切的描述。

给面壁智能更多时间、也给国内场外大模型厂商更多时间，我们坚信未来面壁智能将继续推出更多优质的端侧 AI 模型，与国内外大模型厂商一同推动端侧 AI 的发展。

而在这个过程中，独立开发者和普通用户将成为最大的受益者。

最后附上 MiniCPM-V 2.6 开源地址：

GitHub https://github.com/OpenBMB/MiniCPM-V
HuggingFace: https://huggingface.co/openbmb/MiniCPM-V-2_6

#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。

爱范儿 | 原文链接 · 查看评论 · 新浪微博