人工智能推理市场在过去的三四年里发生了巨大的变化。以前，边缘人工智能甚至不存在，大多数推断能力都发生在数据中心、超级计算机或政府应用程序中，这些应用程序通常也是大型计算项目。在所有这些情况下，性能都是至关重要的，而且始终是最重要的。展望今天，边缘人工智能市场与此截然不同，尤其是它进入了更多的商业应用领域。对于这些用例，主要关注的是低成本、功耗和小尺寸，而不是原始性能。
通过软硬件协同设计平衡更好的性能
当研究AI芯片时，很明显一个芯片和另一个不同。芯片需要小得多才能在低成本、低功耗、小尺寸的边缘人工智能市场上发挥作用。
随着5G的开始出现，更加清晰的是，不可能将原始数据发送到云端随时进行处理。边缘必须有一定数量的情报，可以解决99.9%的情况，而数据中心实际上只需要用于极端情况。一个完美的例子就是安全摄像头。边缘人工智能需要能够找出是否有任何可疑的活动发生，如果周围有人。然后，如果有任何有趣的发现，这些部分可以发送到数据中心进行进一步处理。然而，发送到数据中心的数据实际上只是整个推断的一小部分。边缘推理人工智能通常意味着要满足很多约束条件，有时如果你想运行非常大的复杂模型，你实际上只需要在一小部分数据上运行这些模型。
早期边缘人工智能推理设计中的另一个误解是，一刀切的方法就足够了。这也被证明是错误的，因为专业化芯片的出现显示了它们的优势和能力。关键是真正围绕算法构建芯片，因为如果它真的能磨练算法，你可以获得更好的性能。正确的平衡实际上是获得最有效的计算，就像一个特殊的硬件，但在编译时可编程性。
可编程性是关键
这个行业真的处在人工智能发展的风口浪尖上。未来几十年，我们将在这一领域看到的创新将是惊人的。就像任何长寿的市场一样，你可以期待变化。这就是为什么不为某些客户型号设计超级专用的芯片变得至关重要的原因。如果我们今天这么做，两年后当芯片在客户手中时，型号可能已经发生了实质性的变化——客户的要求也会发生变化。这就是我们不断听到有关公司最终获得人工智能推理芯片的故事的主要原因——然后发现他们的表现并不像他们需要的那样。如果在芯片结构中内置可编程性，那么这个问题就很容易解决。
在任何边缘人工智能处理器中，人工智能的灵活性和可编程性是最重要的。客户的算法会定期更改，系统设计也会更改。随着边缘人工智能能力在主流市场的推广，芯片设计师需要能够适应和改变客户的模型，而不是根据他们“认为”的模型来选择。我们一次又一次地看到这一点，这就是为什么编译器如此重要。编译器中有很多技术是对最终用户隐藏的，这些技术都是围绕着分配资源来确保以最少的能量高效地完成所有事情。
另一个被密切关注的关键特性是吞吐量。好的推断芯片现在正在设计中，这样他们就可以很快地在芯片中移动数据，这意味着他们必须很快地处理数据，并且很快地将数据移入和移出内存。芯片真正重要的是推断引擎在模型、图像大小、批量大小、过程和PVT(过程/电压/温度)条件下能提供多少吞吐量。这是衡量其性能的首要标准，但令人惊讶的是，很少有供应商提供这一标准。
边缘AI向前移动
如今，许多客户都急需吞吐量，他们正在寻找解决方案，以获得更高的吞吐量和更大的图像尺寸，同时还可以获得与当前相同的功率或价格。当他们得到它时，他们的解决方案将比竞争对手的解决方案更加准确和可靠，然后他们的市场采用和扩张将加速。因此，尽管今天的应用程序有数千或上万个单位，但我们预计随着提供越来越多吞吐量和瓦特的推理的可用性，这种应用程序将迅速增长。
边缘人工智能市场增长迅速，芯片供应商也在争夺这个市场的地位。事实上，据预测，到2020年代中期，人工智能的销售额将迅速增长到数百亿美元，其中大部分增长将来自边缘人工智能。没有人能够预测未来的模型，这就是为什么在设计时考虑到灵活性和可编程性更为重要的原因。
