学习大模型的显卡怎么选型
2 June 2025 at 09:47
cuteshell: 想高性价比的配一个主机进行大模型的学习,预算不超过 2 万,能够进行大模型的训练和推理,自己研究了一下,有两套方案,请大家帮拿拿注意。
方案一:一张 5070Ti ,显存 16G ,估计只能训练一些 3B 、4B 的小参数模型
方案二:两张 5060Ti 的显卡,显存可以达到 32G ,可以训练一些 7B 、8B 的模型,但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练,感觉性能还行,5070Ti 能更接近 3090 ,不知道到有没有用 5060Ti 做过训练的朋友,5060Ti 的性能是不是太低了,如果性能太低,光显存大是不是也没多少用。或者大家有没有更好的方案。
方案一:一张 5070Ti ,显存 16G ,估计只能训练一些 3B 、4B 的小参数模型
方案二:两张 5060Ti 的显卡,显存可以达到 32G ,可以训练一些 7B 、8B 的模型,但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练,感觉性能还行,5070Ti 能更接近 3090 ,不知道到有没有用 5060Ti 做过训练的朋友,5060Ti 的性能是不是太低了,如果性能太低,光显存大是不是也没多少用。或者大家有没有更好的方案。