📚 GPU & AI 模型选型指南
如何选择 合适的 GPU 和模型
H100 vs A100 怎么选？GPT-4o vs Claude 3.5 哪个更好？这份指南帮您根据实际需求做出最优决策。
GPU 选型对比
根据您的训练/推理需求，选择最合适的 GPU 配置
$2.49/时
312 TFLOPS FP16 · 40GB HBM2
适合场景
- ResNet/VGG 等经典 CV 模型训练
- BERT / 小模型（<1B）微调
- 单卡推理测试和实验
- Stable Diffusion 推理（40GB 可用）
- 教学 / 学术研究
- 成本极度敏感的小项目
不适合
- 7B+ 大模型全参数训练
- GPT-4 级别模型推理
- 需要多卡 NVLink 的任务
$6.50/时
312 TFLOPS FP16 · 80GB HBM2e
适合场景
- 7B-13B 模型微调（Qwen / LLaMA）
- ResNet/DenseNet 等 CV 模型训练
- Stable Diffusion XL 训练
- 中等规模推理服务部署
- 语音识别（Whisper）批量转写
- 大多数研究和商业应用
不适合
- 70B+ 模型全参数训练
- 需要 NVLink 多卡加速的任务
$12.50/时
3,979 TFLOPS FP16 · 80GB HBM3 · NVLink
适合场景
- 70B+ 模型全参数训练（Qwen / DeepSeek）
- GPT-3.5 / GPT-4 级别模型推理
- 8 卡 NVLink 集群，线性加速
- LLaMA 3 / Mistral 等大模型微调
- 自动驾驶、AlphaFold 等复杂任务
- 所有需要高显存和高带宽的场景
$2.20/时
362 TFLOPS FP8 · 48GB GDDR6
适合场景
- Stable Diffusion 图像生成（高吞吐）
- 视频转码 / 帧插值
- 中小模型推理服务部署
- 需要多卡但预算有限
- 图像分类 / 目标检测推理
不适合
- 需要 HBM 高速带宽的大模型训练
- 超过 48GB 显存的模型任务
| GPU | 架构 | 显存 | 带宽 | FP16 算力 | NVLink | 小时价 | 适合任务量级 |
|---|
| A100 40GB PCIe | Ampere | 40GB HBM2 | 64 GB/s | 312 TFLOPS | - | $2.49 | 小（实验/测试） |
| A100 80GB SXM | Ampere | 80GB HBM2e | 2 TB/s | 312 TFLOPS | 600 GB/s | $6.50 | 中（商业应用） |
| H100 SXM 80GB | Hopper | 80GB HBM3 | 3.35 TB/s | 3,979 TFLOPS | 900 GB/s | $12.50 | 大（千亿参数） |
| H200 SXM 80GB | Hopper | 80GB HBM3e | 4.8 TB/s | 3,979 TFLOPS | 900 GB/s | $18.00 | 极大（万亿参数） |
| L40S 48GB | Ada | 48GB GDDR6 | 864 GB/s | 362 TFLOPS | - | $2.20 | 中（推理为主） |
| H100 8x NVLink | Hopper x8 | 640GB HBM3 | 7.2 TB/s | 31,832 TFLOPS | NVLink 4.0 | $89.00 | 超大规模集群 |
AI 模型 选型对比
根据任务类型和预算选择最合适的模型
输入 $5/M · 输出 $15/M · 上下文 128K
- 多模态（文本/图像/音频）
- 复杂推理、数学、代码能力最强
- 通用场景首选，零调教直接用
- 上下文 128K，适合长文档分析
- 多语言支持优秀（含中文）
最佳场景：复杂代码/架构设计/高级推理/多模态任务
输入 $3/M · 输出 $15/M · 上下文 200K
- 超长上下文 200K，适合大型文档
- 创意写作、长文本分析表现突出
- 代码能力接近 GPT-4o，略便宜
- 安全性最佳，内置有用无害原则
- Haiku 为快速低价替代（$0.25/$1.25）
最佳场景：长文本分析/内容创作/代码审查/学术研究
输入 $0.075/M · 输出 $0.30/M · 上下文 1M
- 价格极低，性价比最高
- 上下文 1M，百万 Token 级别
- 支持视频理解（Gemini Pro）
- 多模态原生支持
- 高并发场景成本优势明显
最佳场景：大批量数据处理/长上下文/成本敏感型应用
输入 $0.27/M · 输出 $1.10/M · 上下文 64K
- 代码和数学推理能力极强
- 开源模型中性能领先
- 中文优化程度高
- 价格比 GPT-4o 低 20-30 倍
- 支持 Function Calling / Tool Use
最佳场景：代码生成/数学/中文优化/成本敏感型应用
🎮 您要做什么类型的任务？
LLM 模型训练 / 微调
推理部署（生成回答）
图像 / 视频生成
CV / 语音 / 其他
📈 您的模型参数规模是？
1B 以下（小模型）
1B - 13B
13B - 70B
70B 以上（超大模型）
💰 您的预算区间是？
$2-3 / 小时（低预算）
$4-7 / 小时（中等）
$10-15 / 小时（充足）
$50+ / 小时（大规模）
💻
大模型训练（7B-70B）
- H100 SXM 80GB x 1-8
- NVLink 多卡集群（8卡最佳）
- PyTorch 2.x + DeepSpeed
- CUDA 12.x + cuDNN 8.x
- 分布式训练（ZeRO-2/3）
- 高速共享存储（选配）
💬
LLM 推理部署
- H100 / A100 80GB（按并发）
- vLLM / TensorRT-LLM
- FP16 / INT8 量化
- Continuous Batching
- 反向代理（Nginx / Caddy）
- 监控（Grafana + Prometheus）
🎨
图像 / 视频生成
- A100 80GB / L40S（SDXL）
- CUDA 12 + cuDNN
- Diffusers 库（SDXL / FLUX）
- 16GB+ 显存（SDXL 推荐）
- NVMe 本地存储（模型缓存）
- 批量推理用 A100 更划算
📊
CV 模型训练
- A100 40GB/80GB（CV 够用）
- PyTorch / TensorFlow
- CUDA 12.x
- 数据增强（Albumentations）
- 分布式 DataLoader
- wandb / tensorboard 监控
🎤
语音 / 音频处理
- A100 40GB（Whisper 足够）
- Whisper Large V3
- FFmpeg 音频预处理
- 批量转写用时间计费更省
- 字幕生成（Whisper + timed-text）
- Triton Inference Server
🚀
快速实验 / POC
- A100 40GB PCIe（最低成本）
- JupyterHub / VS Code Server
- 预装 PyTorch / TensorFlow
- 数据上传（对象存储）
- 按小时计费，不用不花钱
- 验证后再扩到正式训练
常见问题 FAQ
训练需要多少显存？▼
经验公式：推理显存 ≈ 模型参数 x 2字节（FP16）。例如 7B 模型需要约 14GB，13B 需要 26GB，70B 需要 140GB。训练需要更大显存（ Activation memory），通常需要推理的 2-4 倍。使用 DeepSpeed ZeRO-3 可将显存分摊到多卡。
A100 和 H100 怎么选？▼
看两个指标：显存和带宽。H100 有 80GB HBM3（vs A100 的 HBM2e），带宽 3.35TB/s（vs 2TB/s），算力是 6 倍。对于 13B+ 模型训练，H100 的带宽优势让多卡效率接近线性。对于 7B 及以下模型，A100 80GB 性价比更高。
NVLink 集群多少钱才值得用？▼
NVLink 8 卡集群（$89/小时 H100）适合 70B+ 模型全参数训练。如果只是 7B-13B 模型，8 卡 PCIe 多机多卡（成本更低）也能接近 NVLink 效率。NVLink 最关键的优势是 GPU 间带宽（900 GB/s vs PCIe 64 GB/s），对大模型多卡训练影响巨大。
按小时还是月付划算？▼
月付相当于一次性买断 730 小时，平均折扣 35%。如果每月使用超过 50 小时，月付就比按小时划算。企业级用户或有持续需求的团队建议月付。个人实验 / 不定期使用建议按小时，精确到分钟计费，不用不花钱。
模型 API 和算力怎么选？▼
用我们的 API：适合快速原型、不想管理基础设施、对成本可预测性有要求、调用量不大（<$1000/月）的场景。自己租算力：适合调用量大（>$1000/月）、需要完全控制模型（微调/部署自有模型）、数据隐私要求高、不想依赖第三方的场景。
还没确定选哪个？
我们的技术顾问免费帮您评估需求，30 分钟出方案