全球主机交流论坛

标题: 公司想部署一个私有化的deepseek 可以用6000ada的显卡么 [打印本页]

作者: akatom 时间: 2025-2-7 13:06
标题: 公司想部署一个私有化的deepseek 可以用6000ada的显卡么
如题，请问大家部署depseek都需要啥配置呢？

作者: 奧巴马 时间: 2025-2-7 13:08
CPU都可以，就是慢，自己部署没意思。和官网不一样的

作者: 无神通 时间: 2025-2-7 13:20
什么配置都可以，速度快慢的区别

作者: 方块李 时间: 2025-2-7 13:22
建议20块H100 直接上671B

作者: dragonfsky 时间: 2025-2-7 13:22
可以啊但是满血要几十张吧

作者: 尼古丁真 时间: 2025-2-7 13:35
本帖最后由尼古丁真于 2025-2-7 13:36 编辑

int4量化跑671b大概要350G 内存堆到350G容易显存堆到350G有点难
int4精度损失有点高 int8要700G应该能跑
h100 80g显存
也有便宜的方案 2080ti魔改22G显存插16张

作者: cooe 时间: 2025-2-7 13:43
前几天部署了一个8b的，速度还行，但是不够聪明，还是官网用吧，已充值了几十块！

作者: 丹帕 时间: 2025-2-7 13:45
1688现在不是很多跳水卡，来个满血671b

作者: 我是老王 时间: 2025-2-7 14:17
公司跑 32B 就足够了你也可以前端弄个转发接各大API

作者: 小猪佩奇 时间: 2025-2-7 14:33
不一样，没什么意义

作者: 小嵐 时间: 2025-2-7 15:04
那好用嗎?

作者: akatom 时间: 2025-2-7 16:21

我是老王发表于 2025-2-7 14:17
公司跑 32B 就足够了你也可以前端弄个转发接各大API

这是什么意思大佬

欢迎光临全球主机交流论坛 (https://hostloc.gdisk.cf/)