Normal view

There are new articles available, click to refresh the page.
Yesterday — 8 January 2025Main stream

模型有时会很快返回并且结果错误是什么原因?

By: frankyzf
8 January 2025 at 08:44
frankyzf:

同样的 prompt ,同样的环境(同一个 service ,没有重启。模型、机器相同,temperature=0 ,top_k=1),大部分情况返回结果是正常的。但发现偶尔会发生返回结果不正常,并且返回比正常的速度要快,正常返回需要大概 5s ,不正常的返回大概 2s 。 请问有哪些因素会造成这种情况?

英伟达个人 AI 超算 Project Digits 发布 起售价 3000 美元

By: levn
7 January 2025 at 21:36
levn:

1 月 7 日,英伟达创始人黄仁勋在 2025 年 CES 展会上宣布推出 Project Digits 个人 AI 超级计算机,其售价定为 3000 美元(约合人民币:21999 元)起,预计将于今年 5 月正式上市。

Project Digits 搭载了全新的 GB10 Grace Blackwell Superchip 处理器,可提供高达 1petaflop 高能效 AI 性能。这款处理器的设计紧凑,便于放置在办公桌上,且支持标准电源插座供电。此外,该机还配备了 128GB 的统一内存和最高 4TB 的 NVMe 存储。外观设计上,Project Digits 的体积与 Mac Mini 相当,拥有处理高达 2000 亿个参数 AI 模型的能力。 对于需要处理更大规模 AI 模型的应用,用户可以将两个 Project Digits 设备联网,共同处理多达 4050 亿个参数的模型。Project Digits 不仅支持本地开发和测试 AI 模型,还能通过 Nvidia AI Enterprise 软件平台,将模型轻松部署到云服务或数据中心。

GB10 Grace Blackwell 芯片是由英伟达与联发科联合设计,配备了英伟达最新一代 CUDA 核心和第五代 Tensor 核心,并通过 NVLink-C2C 芯片间互连到高能效的 NVIDIA Grace CPU 。该 Grace CPU 包括 20 个基于 Arm 架构建构的高能源效率核心。

❌
❌