教育新闻网随着开发人员面临着使复杂的AI和机器学习应用程序在边缘计算设备上运行的挑战，支持Tiny ML的选项不断涌现。
Edge完全是关于智能的，但是这些智能必须被压缩为越来越小的外形。
人工智能(AI)应用程序的开发人员必须确保他们构建的每个新机器学习(ML)模型都经过优化，可以在一个或多个目标平台上进行快速推理。这些目标环境越来越多地成为边缘设备，例如智能手机，智能相机，无人机和嵌入式设备，其中许多设备的处理，内存，存储和其他本地硬件资源受到严重限制。
小型设备的硬件约束对于更复杂的AI应用程序核心的深度神经网络来说是个问题。许多神经网络模型可能非常庞大和复杂。因此，对于某些需要低成本商品化芯片组的大众市场应用而言，在边缘设备上本地执行这些模型的处理，内存和存储需求可能证明过高。此外，某些已部署的支持AI的端点可用的有限的，间歇性的无线带宽可能会导致与下载最新模型更新相关的长时间下载延迟，以保持其模式识别性能出色。
Edge AI是“一次建模，可在任何地方优化运行”的典范
用于边缘部署的AI应用程序的开发人员正在越来越广泛的框架中开展工作，并将其模型部署到各种硬件，软件和云环境中。这使确保每个新的AI模型在其目标平台上进行快速推理优化的任务变得复杂，这是传统上需要手动调整的负担。很少有AI开发人员是将ML模型部署到其中的硬件平台的专家。
这些开发人员越来越依赖他们的工具来自动调整和修剪模型的神经网络体系结构，超参数和其他功能，以适应目标平台的硬件约束，而又不会过度损害构建ML的预测准确性。
在过去的几年中，开放源代码的AI模型编译器进入市场，以确保工具链自动优化AI模型以实现快速有效的边缘执行而不会影响模型的准确性。这些一次可运行优化的模型编译器现在包括AWSNNVM编译器，IntelNgraph，GoogleXLA和NVIDIATensorRT 3。此外，AWS提供了SageMaker Neo，Google提供了具有TensorFlow的TensorRT，以针对各种边缘目标平台进行推理优化。
将更精细的数学调整为AI边缘处理器
一些人开始将其称为“TinyML”革命。这是指一波新方法的浪潮，这些方法使设备上的AI工作负载可以由安装在超低功耗，资源受限的边缘设备上的紧凑型运行时和库执行。
