主 题：有没有用v100本地跑ai的大佬
发 布 者：蕾米莉亚
标签分类： 技术
时 间：2026-08-03 19:29:42
内容预览：有本地跑ai的需求（内容无法上网），目前对比了2080ti 22g，v100 32g, 3080 20g，准备买v100 本地跑30b左右的小模型。问了ai说主要问题是可能某些算法跟不上最新的（bf16），得量化。还有就是v100牵扯散热问题，我有迷你主机准备买显卡坞通过oculink链接，一般的显卡坞被动散热撑得住吗？有没有实操的大佬讲一下可能踩坑的点。
直达链接： https://www.nodeseek.com/post-855622-1
发 布 者：蕾米莉亚
标签分类： 技术
时 间：2026-08-03 19:29:42
内容预览：有本地跑ai的需求（内容无法上网），目前对比了2080ti 22g，v100 32g, 3080 20g，准备买v100 本地跑30b左右的小模型。问了ai说主要问题是可能某些算法跟不上最新的（bf16），得量化。还有就是v100牵扯散热问题，我有迷你主机准备买显卡坞通过oculink链接，一般的显卡坞被动散热撑得住吗？有没有实操的大佬讲一下可能踩坑的点。
直达链接： https://www.nodeseek.com/post-855622-1
