PTQ转换工具阅读概览

工具工具简介
hb_compile工具hb_compile工具是地平线提供的将浮点模型映射为量化模型并附带验证功能以及模型修改功能的工具,支持三种使用场景,分别为:模型检查、模型量化编译、模型修改。
hb_model_info工具hb_model_info工具是地平线提供的用于解析*.hbm和*.bc编译时的依赖及参数信息,同时支持对*.bc可删除节点进行查询的工具。
hb_verifier工具hb_verifier工具是用于支持进行模型逐层算子输出余弦相似度对比的工具,支持进行onnx模型之间、onnx模型与hbir模型之间的对比。
hb_eval_preprocess工具hb_eval_preprocess工具是地平线提供的用于对模型精度进行评估时,在x86环境下对图片数据进行预处理(包括图片resize、crop、padding等在图片数据送入模型前的特定处理操作)的工具。
hb_config_generator工具hb_config_generator工具是地平线提供的用于支持您获取最简yaml配置文件、包含全部参数默认值的yaml配置文件的工具。
HBRuntime推理库HBRuntime是地平线提供的一套x86端模型推理库,支持对常用训练框架直接导出的ONNX原始模型、地平线工具链进行PTQ转换过程中产出的各阶段ONNX模型以及地平线工具链转换过程中产出的HBIR(*.bc)模型进行推理。
精度debug工具精度debug工具是地平线提供的用于协助您自主定位模型量化过程中产生的精度问题的工具,该工具能够协助您对校准模型进行节点粒度的量化误差分析,最终帮助您快速定位出现精度异常的节点。