端智能在近几年备受关注，端智能方向的公司越来越多，一些领头公司在端智能上有了新的探索，并且取得了很好的效果，端智能慢慢变成了驱动移动 App 业务创新的核心推动力之一。在推进端智能的过程中，会遇到什么挑战？核心解决思路又是什么？
阿里巴巴淘系技术部资深技术专家吕承飞（花名：吕行）受 InfoQ 邀请，和大家聊一聊端智能在淘系的应用，以及双十一背后的那些技术挑战。吕承飞作为阿里巴巴资深无线开发专家，在移动开发，超级 App 架构，端侧 AI 等方面都有深入思考和实践经验。2011 年毕业加入百度，经历百度输入法 0 到 1 研发过程。2013 年加入淘系，经历手机淘宝超级 App 技术演化完整过程，主导淘宝 iOS 架构升级、架构治理、稳定性和性能等相关工作。2017 年开始端侧智能方向探索，构建开源端侧推理引擎 MNN，端计算框架 Walle，AR 技术框架和美妆 AR 等创新应用。
这里总结了一些问题，一起来看看吕行老师的解答
问题一：吕行从2017 年开始探索端侧智能方向，这三年来，端智能的发展有哪些变化？
吕行：宏观层面，端智能应用从探索尝试到逐步展开，在未来，必定会成为商业应用以及业务创新的核心技术推动力之一。具体来看，业界端智能的发展可以从以下三个角度来看：
- 技术角度，解决的问题是逐步递进的。从开始的模型运行基础问题，再到效率和规模应用问题，具体包括：算法模型如何在端侧运行？算法模型如何快速迭代部署？如何降低端 AI 技术门槛实现普及应用？
- 算法角度，端侧算法不断成熟和完善。从最初的人脸检测，到人体姿态、手势、OCR 等逐步成熟。除视觉模型外，像搜索推荐深度模型、语音 ASR 模型和 NLP 模型在端侧运行也逐步变得可能，比如：我们今年基于 MNN 实现了移动端实时语音识别方案，并且在双 11 淘宝直播"一猜到底"活动中取得很好的业务效果。
- 应用角度，整体应用范围不断拓展和深入。从最初单点场景比如淘宝拍立淘场景，到多 App 和多场景全面铺开，不完全统计，阿里基于 MNN 的端智能应用已经超过 30 个。
问题二：淘系端智能的发展主要经历了哪些阶段？
吕行：淘系端侧 AI 应用流程如上所示，每个节点都存在诸多问题，过去三年我们一直在解决中，主要经历了以下 三个阶段：
- 端侧推理引擎阶段：端智能首先要解决算法模型在端侧运行问题，否则一切无从谈起，推理引擎就是端智能应用皇冠上的明珠，这个阶段我们做了端侧推理引擎 MNN，实现模型在端侧高效运行。
- 算法模型服务阶段：端智能要在业务落地除了算法模型运行之外，前后还涉及模型转换、更新发布、版本管理、运维监控等工作，这个阶段我们做了端 AI 服务端解决算法模型发布更新问题。特别地，算法任务除模型外，还涉及前后处理代码，因此我们构建了基于 PythonVM 的算法任务运行时容器，让算法同学编写 Python 任务实现快速迭代。
- 端 AI 研发范式阶段：端智能规模化应用过程中需要体系化解决研发迭代全链路问题。一方面，端智能应用落地需要算法开发和移动开发通力协作，但是两者之间天然存在 GAP，完全依赖口头沟通，协作效率存在较大问题；另一方面，AI 应用场景具有长尾和碎片化特征，诸多场景因为缺少专业算法支持导致没有落地，而且由于缺少统一技术建设导致已被应用的方案难以沉淀和复用；因此，我们构建『端 AI 研发范式』，具体由 MNN 工作台、MNN 运行时、端 AI 服务端构成。其核心思想：一是解耦算法和移动开发，让算法开发独立迭代；二是降低 AI 门槛，让 AI 成为普通开发的有力武器解决业务问题。我将在本次 QCon 会议分享相关内容细节。
问题三：淘系技术在推进端智能落地过程中，遇到过什么困难，认为最大的挑战是什么？最后是怎样解决的？
吕行：淘系丰富的业务场景历来是培育创新技术的沃土，端智能的整体技术和应用实践一直走在行业前列，我们有开源推理引擎 MNN 还有开放的 MNN 工作台等。目前淘系已经有 25+ 应用场景，65+ 算法模型在日常运行，每天推理运行次数超过百亿次，覆盖商品搜索推荐、用户触达、拍立淘、直播等核心场景，经历三次双 11 考验并取得巨大业务价值。整体应用可以大致分成如下几类：
- 视觉类，主要在拍立淘、淘宝直播、拍摄工具、评价等场景应用。
- 推荐类，主要在首页信息流、购后、详情等各种推荐场景。
- 触达类，主要在 Push、消息、各业务弹框等场景应用。
- 语音类，主要在淘宝直播、智能降噪等场景应用。
到目前为止，最大挑战还是推理引擎 MNN 的挑战，比如：
- 移动端设备和系统碎片化；
- 移动端算力和资源有限；
- 视觉、语音等多样化的算法模型
- ……
问题四：在刚刚过去的双 11 中，端智能在实际应用过程中有什么优秀表现？
吕行：端智能已经逐渐从尝试应用变成驱动业务创新的核心推动力之一，在双 11 的热点业务场景都能看到相关应用。今年大热的直播场景也有不少应用。依托于淘系自研的 MNN，淘宝直播间推出 “语音猜价格”挑战，观众在直播间也能实现语音交互，动动嘴就可以响应主播发出的猜产品价格的任务。端智能极大的提升了直播内容的交互可玩性和内容理解准确性。
基于端 AI 技术实现精准的用户感知能力，双 11 流量高峰阶段，充分发挥端侧的算力和数据优势，大幅提升主动触达用户的体验和效果，在 11 月 1 日当天，端侧 AI 决策运行了 277 亿次。
通过对用户行为的实时感知和意图识别做商品列表重排和智能刷新，在淘系信息流等场景大规模应用，DPV 和 GMV 都获得了较大提升。
问题五：简单说说 MNN 接下来的计划
吕行：其实推理引擎 MNN 的本质是做这样一件事情，即实现 [不同种类模型] 在 [不同异构设备] 上 [最高效运行]。这里有三个关键点，我们持续在演进和探索。
- 支持不同种类模型，从支持 CV、Data 算法模型到支持 ASR、NLP 算法模型，最近 MNN 在控制流、动态图等方面都有了很多完善和升级，新支持 Transformer 等网络模型。
- 支持不同异构设备，从支持客户端 CPU ARMv7/64/v8.2 到 GPU OpenCL/Vulkan/Metal 等都不断在演进和完善，MNN 也开始支持服务端 Intel x86/NVIDIA GPU 推理，提供云 - 端一体的统一推理服务。针对每个异构设备都需要实现和优化所有 OP 导致开发成本过高问题，我们创新性提出几何计算架构方案，将 OP 数目收敛到约 20 个核心算子，做到低成本覆盖各个异构后端，MNN 应该是行业覆盖异构后端最多支持算子最全的推理引擎。
- 实现最高效运行，高性能一直是 MNN 核心优势之一，在行业也有广泛认同。具体优化思路包括离线的模型压缩、图融合等方式进行优化，在线的通过汇编、SIMD/ 并行化、矩阵算法、调度等方式进行优化。另外，MNN 与 PAI 合作实现训练、量化到 MNN 部署云端一体化方案，新增稀疏剪枝、Overflow-Aware 量化等压缩方案。
MNN 在上述三个方向会持续演进，但从整个端智能应用链路来看，MNN 只是解决算法模型在端侧高效运行的单点问题。目前，我们正从 MNN 单点技术往端智能技术体系化和产品化方向迈进，如前所述构建端 AI 研发范式，通过 MNN 工作台解决算法模型部署过程中的转换、优化、调试、发布等问题，甚至做到让算法开发独立迭代。
问题六：未来的移动领域还有什么值得关注的技术方向？
吕行：技术进展跟业务发展还是强相关的，随着直播业务快速发展，多媒体技术应该有比较多发展，我自己更多关注端智能相关的一些东西：
- AR+ 端 AI+3D
我觉得这几个技术结合可以做出很多有趣的应用，其中 AR 提供了虚实结合的场景能力，端侧 AI 提供 AR 中的交互能⼒，3D 模型 /AR 素材提供内容供给，5G 网络提供了大资源包的网络传输能⼒。目前这几个技术都不算成熟，比如难以实现低成本且高质量 3D 建模。另外，手机也不是 AR 应用最适合的载体，可以期待一下后续消费级的 AR 眼镜。
- 端云协同的智能
目前云端做训练，客户端做推理，端云结合还比较浅层。我们也在做端上训练的探索，以及构建一套分布式的端云协同智能系统，实现用户个性化理解，保护数据隐私，以及节省云端成本。
