公司想部署一个私有化的deepseek 可以用6000ada的显卡么

akatom · 发表于 2025-2-7 13:06:04

如题，请问大家部署depseek都需要啥配置呢？

尼古丁真 · 发表于 2025-2-7 13:35:07

本帖最后由尼古丁真于 2025-2-7 13:36 编辑

int4量化跑671b大概要350G 内存堆到350G容易显存堆到350G有点难
int4精度损失有点高 int8要700G应该能跑
h100 80g显存
也有便宜的方案 2080ti魔改22G显存插16张

akatom · 发表于 2025-2-7 16:21:07

我是老王发表于 2025-2-7 14:17
公司跑 32B 就足够了你也可以前端弄个转发接各大API

这是什么意思大佬

小嵐 · 发表于 2025-2-7 15:04:12

那好用嗎?

小猪佩奇 · 发表于 2025-2-7 14:33:41

不一样，没什么意义

我是老王 · 发表于 2025-2-7 14:17:34

公司跑 32B 就足够了你也可以前端弄个转发接各大API

丹帕 · 发表于 2025-2-7 13:45:34

1688现在不是很多跳水卡，来个满血671b

cooe · 发表于 2025-2-7 13:43:00

前几天部署了一个8b的，速度还行，但是不够聪明，还是官网用吧，已充值了几十块！

dragonfsky · 发表于 2025-2-7 13:22:32

可以啊但是满血要几十张吧

方块李 · 发表于 2025-2-7 13:22:24

建议20块H100 直接上671B

		自动登录	找回密码
密码			注册