TensorRT 加速直觉

本节你将能

说明 TensorRT 如何通过层融合与精度选择加速，以及校准的角色。

直觉模型

TRT 像「针对这块 GPU 重编译模型」：换速度，可能换一点精度。

核心要点

• 构建 engine：FP16/INT8、workspace、动态 shape
• INT8 需校准数据；蒸馏学生往往更耐量化
• 用 profiler 找慢算子，而不是只看平均延迟

常见误区

开发机 GPU 与生产不一致——engine 不可随意搬迁。

动手

列出从 ONNX 到 TRT 的检查清单（5 项）。

互动

测验：INT8 为何需要校准。

本节小结

下一节系统看延迟与精度权衡。