Inference Performance

2025年 8月 13日

Dynamo 0.4 提供 4 倍性能提升、基于 SLO 的自动缩放和实时可观测性

最近几周，OpenAI 的 gpt-oss 和 Moonshot AI 的 Kimi K2 等几个前沿开源模型的出现，
2 MIN READ
2025年 8月 5日

NVIDIA 从云到边缘加速 OpenAI gpt-oss 模型部署，在 NVIDIA GB200 NVL72 上实现 150 万 TPS 推理

自 2016 年推出 NVIDIA DGX 以来，NVIDIA 与 OpenAI 便开始共同推动 AI 技术的边界。
1 MIN READ
2025年 7月 29日

使用全新 NVIDIA Llama Nemotron Super v1.5 构建更加准确、高效的 AI 智能体

AI 智能体现在已经能够解决多步骤问题、编写生产级代码并在多个领域担任通用助手。但要充分发挥其潜力，
1 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 7月 7日

提出一个维基百科规模的问题：如何利用数百万 token 的实时推理使世界更加智能

现代 AI 应用越来越依赖于将庞大的参数数量与数百万个令牌的上下文窗口相结合的模型。无论是经过数月对话的 AI 智能体、
3 MIN READ
2025年 7月 1日

适用于有效 FP8 训练的按张量和按块扩展策略

在本博文中，我们将分解主要的 FP8 缩放策略 (按张量缩放、延迟和电流缩放以及按块缩放 (包括 Blackwell 支持的 MXFP8…
2 MIN READ
2025年 6月 26日

在 NVIDIA Jetson 和 RTX 上运行 Google DeepMind 的 Gemma 3n

截至今日，NVIDIA 现已支持在 NVIDIA RTX 和 Jetson 上全面推出 Gemma 3n。上个月，
1 MIN READ
2025年 6月 24日

隆重推出 NVFP4，实现高效准确的低精度推理

为了充分利用 AI，优化至关重要。当开发者考虑优化用于推理的 AI 模型时，通常会想到量化、蒸馏和剪枝等模型压缩技术。毫无疑问，
4 MIN READ
2025年 6月 13日

使用 FlashInfer 运行 NVIDIA 的高性能 LLM 推理内核

出色的 LLM 推理需要两个关键要素：速度和开发者速度。速度是指通过使用高度优化的计算内核算法，最大限度地提高底层硬件的效率。
2 MIN READ
2025年 6月 12日

使用 NVIDIA TensorRT for RTX 运行高性能 AI 应用

NVIDIA TensorRT for RTX 现可作为 SDK 下载，该 SDK 可集成到 Windows 和 Linux 的 C++ 和…
2 MIN READ
2025年 6月 6日

NVIDIA GB200 NVL72 和 NVIDIA Dynamo 如何提升 MoE 模型的推理性能

最新一批开源大语言模型 (LLMs) 采用了 Mixture of Experts (MoE) 架构，如 DeepSeek R1、
4 MIN READ
2025年 5月 22日

Blackwell 借助 Meta 的 Llama 4 Maverick 突破 1000 TPS/ 用户门槛

NVIDIA 的大语言模型 (LLM) 推理速度创下了世界纪录。在包含 400 亿参数的 Llama 4 Maverick 模型 (…
3 MIN READ
2025年 5月 21日

NVIDIA Dynamo 加速 llm-d 社区计划，推动大规模分布式推理

在 Red Hat Summit 2025 上推出的 llm-d 社区标志着开源生态系统在加速生成式 AI 推理创新方面迈出了重要一步。
1 MIN READ
2025年 5月 6日

LLM 推理基准测试指南：NVIDIA GenAI-Perf 和 NIM

这是 LLM 基准测试系列 的第二篇文章，介绍了在使用 NVIDIA NIM 部署 Meta Llama 3 模型 时，
4 MIN READ
2025年 4月 21日

使用 NVIDIA TensorRT 优化基于 Transformer 的扩散模型以生成视频

先进的图像扩散模型需要数十秒才能处理单张图像。这使得视频扩散更具挑战性，需要大量计算资源和高昂成本。
4 MIN READ