GPU 调用
GPU 在整个处理流程中的使用,可以参考 Nvidia Deepstream 的处理流程:
在 Codec / 编解码,Image processing / 预处理,DNN / 深度神经网络,Tracking / 追踪 和 Vizulization / 可视化 都用到了 GPU,但是 编解码 / 预处理 / 追踪 / 可视化 都不会用到 Tensor Core;
2. pre-processing / 预处理:
调用 NVIDIA Data Loading Library (DALI):
Tensor Core
Tensor Core 专门用来处理 4*4 / 16*16的 FP16 小矩阵乘法计算;
只有在处理神经网络本身的时候会用到 Tensor Core 用于计算加速;