日前，中国科协正式发布2021“科创中国”开源创新榜单，推选出50项年度优秀开源产品及相关机构。其中，由阿里巴巴大淘宝技术团队开源的MNN深度学习推理引擎与其他四个阿里自研开源项目一起荣获“年度优秀开源产品”。

2022“科创中国”年度会议上，中国工程院院士周济发布“科创中国”系列榜单

MNN是由大淘宝技术出品的全平台轻量级高性能深度学习引擎。它从2018年开始，历经4届双十一考验，广泛支持了阿里巴巴在CV、ASR、NLP等领域的70+个AI应用场景，包含淘宝搜索推荐、拍立淘、淘宝直播、AR导购等核心场景，日调用量达十亿量级。MNN一直是推理引擎行业标杆，其架构论文发表于2020 SysML。MNN也普遍获得业界友商的认可，包含陌陌、美团、得物等至少数十家企业在使用。

在过去的一年，MNN一直在高性能、通用性方面沉淀扎实的推理引擎技术：

首先，在X86 CPU上，通过增加卷积调度参数、结合X86硬件特性汇编实现等优化手段，在常用模型如ResNet上，提速350+% (1Batch) 、70+% (16Batch)。在微观矩阵乘microkernel层面，其性能已达到计算峰值的98%以上！

其次，我们投资于ARM、X86平台稀疏计算，模型优化与引擎加速相结合，0.75稀疏度的CV模型在ARM平台加速比2.1 ~ 2.3 倍， x86平台加速比1.66 ~ 1.72倍。在淘宝实际业务的应用中，我们发现稀疏计算结合模型量化，可对模型进行极限压缩，满足端侧环境对于模型体积、内存占用、CPU占用的严格约束。

最后，基于MNN核心的张量计算库，我们低成本高效率地实现了OpenCV / Numpy功能，它有极简的包大小、原生OpenCV / Numpy库的使用体验、大幅的性能提升，进一步缩短了AI算法部署到端侧的「最后一公里」。

后续我们会陆续放出MNN在以上方向的技术干货，敬请大家期待！

在过去的一年，AI整体行业也经历了飞速的发展。算法上，主流任务模型日趋成熟，Transformer从NLP破圈进入CV，Vision Transformer 登顶 ImageNet；产业中，大量的AI、数据公司IPO，如Exscientia, Snowflake, UiPath, Confluent等，标志着AI开始迈向部署阶段。淘系端智能团队坚信，未来的AI部署将是端侧驱动、端云协同的。我们自主研发并对外开放了支持AI应用启蒙、无门槛训练和一键多端部署的一站式AI平台：MNN工作台，欢迎大家从MNN官网 (见文末二维码) 下载体验！

MNN官网 MNN开源交流群