######################################
网络定义:一个网络是由一系列layer和一组tensor组成。
tensor: tensor既可以是网络的输入也可以是layer的输出. tensor具有指定精度的数据类型,如16位/36位浮点数及维度,如3维度通道数、宽度、高度.输入tensor的尺寸由应用程序定义,输出tensor的尺寸由builder推理出来
Plan也可以被序列化存储到磁盘,后媔可以重新load Plan进TensorRT,可省去再次执行优化网络的操作
6. 构建阶段:在构建阶段,工具包通过网络定义执行优化,并产生推理引擎(inference engine). 构建阶段很占鼡时间尤其在嵌入式平台时,因此一个典型的应用程序将构建一次推理引擎,然后将其序列化以备后用
构建阶段在layer上执行的优化包括:消除没有用到的输出层; convolutions, bias, ReLU layer的融合(fusion)操作; 相似的参数和相同的源tensor执行聚合(aggregation)操作;通过将layer的输出引导到最终目的地,省略(elision)连接层;运行layers以從其内核目录中选择最快的;内存优化
7. 执行阶段:执行已优化的引擎; 在GPU上,使用引擎执行推理任务