横向对比六款 GPU 的核心参数，数据来源于公开规格与实测性能
| GPU 型号 | 架构 | 显存 | FP16 算力 | 训练性能 | 推理性价比 | 推荐场景 |
|---|---|---|---|---|---|---|
| H100 SXM5 | Hopper | 80GB HBM3 | 2000+ TFLOPS | 最强 | 中 | 千亿参数预训练 |
| A100 80GB | Ampere | 80GB HBM2e | 312 TFLOPS | 优秀 | 优 | 70B模型训练/推理 |
| A100 40GB | Ampere | 40GB HBM2e | 312 TFLOPS | 良好 | 极高 | 7B-30B模型/推理 |
| L40S | Ada Lovelace | 48GB GDDR6 | 362 TFLOPS | 良好 | 优 | 推理/图形AI/NeRF |
| V100 32GB | Volta | 32GB HBM2 | 125 TFLOPS | 一般 | 良 | 入门训练/教学 |
| T4 | Turing | 16GB GDDR6 | 65 TFLOPS | 入门 | 极高 | 轻量推理/视频分析 |
| RTX4090 | Ada Lovelace | 24GB GDDR6X | 165 TFLOPS | 一般 | 良 | 个人训练/小模型 |
注：训练性能以 FP16 矩阵运算为基准，推理性价比综合考虑算力/价格比。实际性能受模型结构、Batch Size、框架优化影响。
根据你的具体任务，直接找到最适合的 GPU 型号
需要超大显存和超高算力，多卡并行是必须。
推荐：H100 SXM5（8卡）或 A100 80GB（8卡）
单卡 40GB/80GB 可满足，也可多卡加速。
推荐：A100 40GB（性价比最高）或 A100 80GB
推理性价比优先，A100 40GB 和 T4 是热门选择。
推荐：A100 40GB（大模型）或 T4（轻量模型）
Stable Diffusion、ComfyUI 等，需要 FP16 算力。
推荐：A100 40GB 或 L40S（支持 FP8 推理）
预算有限，V100 或 4090 是入门首选。
推荐：V100 32GB（稳定）或 RTX4090（便宜）
如果经费紧张，可以从 T4 或 V100 起步。
推荐：T4（推理性价比极高）或 V100（训练入门）
虽然 4090 游戏算力不错，但它是消费级卡：无 ECC 显存、不支持 NVLink/MIG、长时间高负载稳定性不如 A100。科研和生产环境强烈推荐 A100 或更高级别专业卡。
如果你需要训练 70B+ 参数模型，H100 的 Transformer 引擎和 80GB HBM3 显存可以大幅缩短训练时间，从几周降到几天，时间成本算下来可能更划算。小模型用 H100 是浪费。
NVLink 提供卡间高速通信（600GB/s），对大模型训练帮助很大。但 PyTorch DDP（分布式数据并行）也可以走 PCIe 或网络，只是速度慢一些。预算允许建议上 NVLink 版本。
粗略公式：模型参数 × 2（FP16）+ 梯度 × 2 + 优化器状态 × 4 + 激活值 ≈ 总显存需求。7B 模型全量微调约需 28GB 显存，建议用 40GB 以上 GPU。