【端智能】端智能技术演进与实践

什么是端智能技术

端智能（On-Device Machine Learning）是指把机器/深度学习算法模型应用和部署到端设备上，这里“端设备”是相对于云服务而言的，可以是手机，也可以是物联网IoT设备。

Google对端智能的介绍：ML Kit: Turnkey APIs to use on-device ML in mobile apps | Session

机器学习已进入生活中各个方面，在移动端上也有着非常多的应用场景：

视觉：扫码、人脸手势识别、肢体姿态估计、目标检测跟踪、图像分割、OCR文字识别提取、图片视频实时超分等

语音：语音分类识别等

文本：翻译、对话系统、文本分类、智能回复等

其他：推荐精排、无人驾驶、运动检测、智能预加载、AR、VR等

优势

低延迟、实时性高：特征收集、模型推理、业务逻辑均在端侧完成，无需网络交互，端侧也更能够实时感应用户状态。

保护隐私：数据只在端侧使用，无需上传云端，可更好地保护用户隐私数据。

算力：移动端设备越来越强大，算力越来越高。

可离线：可以离线使用。

低成本：在端侧计算，利用端侧算力和存储空间，可节省大量的云端计算和存储资源。

端云协同： 端智能并不是云智能的替代，是云端机器学习的延伸，是要结合云和端各自的优势，在云端之间合理分配任务以获取问题最优解。

端设备上算力、内存、存储和功耗受限，运行的模型大小有限制；云端有海量数据和充足算力资源，两者配合协同可以发挥各自优势；典型的场景如移动端上的智能精排场景。

端智能工程师学习长路线

入门

达成：对端智能技术有一定认识，可以协作完成端智能技术的需求落地

• 了解端智能技术是什么、可以做什么
• 掌握移动端开发、Machine Learning 基础知识，了解业内端智能框架
• 理解怎么做端智能，可以协作完成端智能技术解决实际业务问题的需求落地

学习资料：

• 了解端智能可以做哪些事情：Google MLKit、华为 MLKit
• 机器学习入门： Tensorflow入门、机器学习速成课、微软AI-EDU
• 机器学习在移动端应用：TensorflowLite入门
• 机器学习原理：吴恩达课程

进阶

达成：对移动端技术、端智能技术和负责业务有更深入的理解，可以站在更全面的视野上设计端上智能解决方案，建设端上智能架构。

参考

【Android 客户端专场 学习资料二】第四届字节跳动青训营