如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）
前言
在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。
本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。
一、查找ONNX、CUDA与cuDNN之间的对应版本
首先，我们需要确保 ONNX Runtime 与 CUDA 和 cuDNN 的版本兼容。
如果版本不匹配，可能导致加速失败或性能下降。我们可以通过官方兼容性文档查找它们的对应关系。
来到ONNX官网地址查询：https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html
这里有详细版本对应关系，比如 CUDA12.x版本的：