主 题：租用V100 32G单卡进行本地ai部署测试结果留档
发 布 者：蕾米莉亚
标签分类： 技术
时 间：2026-08-05 18:54:30
内容预览：之前发了这个帖子，有人提醒我说可以租个卡试试，我觉得有道理，就去租卡网站上租了10个小时，机器配置为项目配置详情GPUNVIDIA Tesla V100-SXM2-32GB，Compute Capability 7.0，32,768 MiB驱动 / CUDANVIDIA 550.127.05；CUDA Toolkit 12.4.99CPUIntel Xeon Gold 6146 @ 3.20GHz，1路8核16线程内存约31 GiB，另有5.9 GiB swap磁盘196G 根分区；测试收尾时约125G可用操作系统Ubuntu 22.04.3 LTS把机器的ip端口和ssh密码发给我的Openclaw我就睡觉去了，为了平衡测试质量和价格，当时用的是gpt-5.6-sol去跑相关测试最后一共测试了7个30b左右的模型，测试结果如下：模型结构参数GB4K P/D8K P/D16K P/D32K P/D峰值MiBTTFT(s)Qwen3-32B稠密32.8B19.762558.3/29.9445.5/30.0305.6/29.7167.3/29.7——Qwen2.5-32B-Instruct稠密32.8B19.851621.7/30.0530.5/30.0395.3/30.0244.1/29.929,0660.578Gemma-3-27B-it稠密27B16.546764.8/33.9739.1/33.9688.4/33.9596.1/33.821,7462.341Qwen3-30B-A3BMoE30.5B/3.3B激活18.557913.8/124.4798.2/122.8613.3/126.3381.9/124.8——Qwen3-Coder-30B-A3BMoE30.5B/3.3B激活18.557897.7/125.2789.3/125.6612.5/125.2380.0/1
直达链接： https://www.nodeseek.com/post-859012-1
发 布 者：蕾米莉亚
标签分类： 技术
时 间：2026-08-05 18:54:30
内容预览：之前发了这个帖子，有人提醒我说可以租个卡试试，我觉得有道理，就去租卡网站上租了10个小时，机器配置为项目配置详情GPUNVIDIA Tesla V100-SXM2-32GB，Compute Capability 7.0，32,768 MiB驱动 / CUDANVIDIA 550.127.05；CUDA Toolkit 12.4.99CPUIntel Xeon Gold 6146 @ 3.20GHz，1路8核16线程内存约31 GiB，另有5.9 GiB swap磁盘196G 根分区；测试收尾时约125G可用操作系统Ubuntu 22.04.3 LTS把机器的ip端口和ssh密码发给我的Openclaw我就睡觉去了，为了平衡测试质量和价格，当时用的是gpt-5.6-sol去跑相关测试最后一共测试了7个30b左右的模型，测试结果如下：模型结构参数GB4K P/D8K P/D16K P/D32K P/D峰值MiBTTFT(s)Qwen3-32B稠密32.8B19.762558.3/29.9445.5/30.0305.6/29.7167.3/29.7——Qwen2.5-32B-Instruct稠密32.8B19.851621.7/30.0530.5/30.0395.3/30.0244.1/29.929,0660.578Gemma-3-27B-it稠密27B16.546764.8/33.9739.1/33.9688.4/33.9596.1/33.821,7462.341Qwen3-30B-A3BMoE30.5B/3.3B激活18.557913.8/124.4798.2/122.8613.3/126.3381.9/124.8——Qwen3-Coder-30B-A3BMoE30.5B/3.3B激活18.557897.7/125.2789.3/125.6612.5/125.2380.0/1
直达链接： https://www.nodeseek.com/post-859012-1
