模型推理API概览

本章节主要介绍了模型推理相关的API、数据、结构体、排布及对齐规则等。 通过阅读本章节,您可以在Horizon开发板上利用API完成模型的加载与释放,模型信息的获取,以及模型的推理等操作。

数据类型和数据结构

名称描述
HB_DNN_TENSOR_MAX_DIMENSIONS张量最大的维度
hbDNNPackedHandle_tDNN句柄,指向打包的多个模型
hbDNNHandle_tDNN句柄,指向单一模型
hbDNNDataType张量的类型
hbDNNTensorShape张量的形状
hbDNNQuantiShift量化/反量化的移位数据
hbDNNQuantiScale量化/反量化的缩放数据
hbDNNQuantiType定点浮点转换的量化/反量化类型
hbDNNTensorProperties张量的信息
hbDNNTensor张量
hbDNNRoi矩形的感兴趣区域

API接口

名称描述
hbDNNGetVersion获取DNN预测库版本信息
hbDNNInitializeFromFiles从文件完成对 dnnPackedHandle 的创建和初始化
hbDNNInitializeFromDDR从内存完成对 dnnPackedHandle 的创建和初始化
hbDNNReleasednnPackedHandle 所指向的模型释放
hbDNNGetModelNameList获取 dnnPackedHandle 所指向模型的名称列表和个数
hbDNNGetModelHandlednnPackedHandle 所指向模型列表中获取一个模型的句柄
hbDNNGetInputCount获取 dnnHandle 所指向模型输入张量的个数
hbDNNGetInputName获取 dnnHandle 所指向模型输入张量的名称
hbDNNGetInputTensorProperties获取 dnnHandle 所指向模型特定输入张量的属性
hbDNNGetOutputCount获取 dnnHandle 所指向模型输出张量的个数
hbDNNGetOutputName获取 dnnHandle 所指向模型输出张量的名称
hbDNNGetOutputTensorProperties获取 dnnHandle 所指向模型特定输出张量的属性
hbDNNInferV2 根据输入参数创建同步/异步推理任务
hbDNNRoiInferV2根据输入参数创建ROI同步/异步推理任务
hbDNNGetErrorDesc将错误码翻译成自然语言