[公开]ByteMLPerf Micro Perf Vendor接入指南
[公开]ByteMLPerf Micro Perf Vendor接入指南
Modified February 27, 2024
前言
https://github.com/bytedance/ByteMLPerf
ByteMLPerf是字节使用的一个基准套件，用于测量推理系统在各种部署场景中运行模型的速度。相比MLPerf，Byte MLPerf有如下特点：
1.
模型和运行环境会更贴近真实业务；
2.
对于新硬件，除了评估性能和精度之外，同时也会评估图编译的易用性、覆盖率等指标；
3.
在开放Model Zoo上测试所得的性能和精度，会作为新硬件引入评估的参考；
整体框架
Board
User Interface
用户使用入口为launch.py, 在使用byte mlperf评估时，只需传入--task 、--hardware_type 两个参数，如下所示：
python3 launch.py --task xxx --hardware_type xxx