边缘计算七大核心技术之算法执行框架
随着人工智能的快速发展，边缘设备需要执行越来越多的智能算法任务。例如，家里的语音助手需要理解自然语言，智能车辆需要识别和识别道路物体，便携式翻译设备需要实时翻译语音信息。机器学习，尤其是深度学习算法，占了这些任务的很大一部分。为边缘计算场景开发高效的算法执行框架是一种重要的方法。
谷歌于2016年发布了TensorFlow，该社区依赖于开源社区的性能，并拥有许多机器学习算法属性的执行框架。然而，这些框架中的大多数在云数据中心运行，不能直接应用于边缘设备。云数据中心和边缘设备对算法执行框架有不同的要求，在云数据中心，算法执行框架有更多的模型训练。输入训练期间帧的重复率，这是一个大批量数据集，重点是收敛速度和可扩展性。边缘设备执行更多的预测任务，输入更少的实时数据。由于边缘设备的计算和存储资源的相对限制，算法在执行框架预测时的速度更加关注内存消耗和能量效率。
为了更好地帮助边缘设备执行智能任务，我们开发了边缘设备的算法执行框架。2017年，我们发布了适用于移动和嵌入式设备的轻量级解决方案TensorFlow Lite。我们优化了移动应用程序内核，预激活并量化了内核，并进行了预测，减少升级期间的延迟和内存使用。Cafe2的更高版本是一个轻量级的实现框架，增加了对移动设备的支持。此外，用于实现机器学习算法的主流框架，如PyTorch和MXNet，也开始在边缘设备上部署部署方法。
Zhang等人比较并分析了TensorFlow、Cafe2、MXNet、PyTorch和TensorFlow Lite在各种边缘设备（MacBook Pro、Intel FogNode、NVIDIA Jetson TX2、Raspberry Pi3 Model B+、华为Nexus 6P）上的延迟、内存消耗和能效，从而提高了执行框架的性能。研究可扩展边缘设备算法执行框架非常重要，这也是实现边缘智能的重要步骤。
