首先我们来说说，目前市场上主要有哪些AI芯片？根据应用范围，可以分为终端AI芯片、云端AI芯片及当下热潮的边缘AI芯片。

终端AI芯片

终端类的AI芯片，其功能要求功耗低、算力低，主要应用于AI的推理，往往以各种带AI模块的MCU来呈现，专注于某一类应用，例如，智能音箱里面的AI芯片，可以用于语音识别。智能门锁的AI芯片，可以人脸识别等。

云端AI芯片

云端AI芯片则是数据中心， 用于云端AI加速，不但可以推理也可以做训练。例如NVIDA的GPU卡、谷歌的TPU等等。云端AI芯片性能比较强，面积也非常大，例如A100据说在7nm下有826mm2，性能也比较强悍！

那么，边缘AI芯片又是做什么的？

相对于终端AI芯片很多消费级的场景，边缘AI芯片更多的是工业领域的应用。边缘AI基本上将应用局限在某个范围内，可以是一辆汽车、一列火车、一个工厂、一个商店。在这个范围内，有一些实时的AI决策及处理需求需要被满足。相应的我们会把AI赋能称之为，自动驾驶、智能制造、智慧零售等。

其核心目的主要强调数据来源侧来解决问题，这就是边缘AI芯片存在的需求。

边缘AI芯片特征

1、算力强

边缘AI的算力要比终端要算力更强，通常都是独立解决问题。但是性能要比小区的人脸识别或者智能音箱这种语音识别的基于某种应用的端侧AI芯片的处理能力要强1-2个数量级。

2、外设丰富

边缘AI基本上强调信息的可获得性，例如多路摄像头的输入的需求，对于类似MIPI的接口的数量会有很大的需求，例如可以同时支持多路摄像头等视频音频的输入。

3、可编程性

边缘AI芯片通常用面向工业用户，需要AI赋能用户，换言之：AI要和用户应用场景相结合，通常根据不同工业用户不同的场景需要进行编程，用于适配不同的模型和场景。也不局限于某种应用。一个良好的可编程的架构是解决问题的关键。边缘AI芯片不是直接给工业客户用，而是要根据工业客户的需求进行客户需求AI赋能，这个是边缘AI芯片核心特征。

边缘AI芯片架构

那么边缘AI芯片的架构是什么样子的？举个例子，边缘AI计算平台，JESTON 应该算是一个。其最新一代发布的是JESTON  AGX Orin 。JETSON作为英伟达边缘的AI计算平台，其名气没有英伟达的GPU大。但是，JESTON同时继承了Ampere的架构的GPU和 ARM Cortex-A78，在边缘侧AI芯片中，既可以做推理也可以做训练。作为一个边缘AI产品，其有200Tops的处理性能（INT8）。我们以JESTON  AGX Orin为例，探索下其芯片内部架构是怎样的。

这个芯片的计算部分主要是三大件：CPU、GPU、DSA（NVDLA+PVA）

CPU：

JESTON其内部有3组4核的A78，频率可以到2GHz。也就是说，这个芯片内部有12核的A78的处理器，不同于手机的处理器，3个cluster的A78是对称的，不是手机处理器的大小核设计，其主要是面向计算服务，而不是手机应用中不同负载的低功耗。在一些标量的运算中，多核A78的计算能力也是非常强悍。

GPU：

GPU是英伟达最新的安培架构，拥有2048个CUDA核，以及64个Tensor内核。这些都是可编程的。安培架构是最新一代的GPU架构，前面几代分别是：Kepler，Maxwell，Pascal， Volta等。最新一代的安培架构升级了tensor core。用了安培GPU以后，与其他边缘AI芯片不同的是，可以支持推理和训练。最重要的是，这个AI芯片可以用cuda来编程了，而可编程性则是边缘AI芯片的核心需求了。

DSA：

作为AI加速单元，JESTON本身也有另外2个NVDLA 的硬核，以及VISION加速器 PVA；NVDLA主要用于推理。内核核心还是一个大的矩阵卷积运算。

PVA用了VPU的架构，使用VLIW的架构，VLIW是超长指令字结构，其并行度比较好，VIEW架构设计简化了硬件结构，其二，VLIW的大位宽执行并不会以牺牲性能和频率为代价。但是同时将问题交给了软件来运行。

IO资源：

除了计算资源，IO资源也比较丰富，毕竟边缘AI侧，就需要丰富的输入，支持6个摄像头以及16组通道的MIPI接口。 如果边缘AI芯片选一个重要的接口，那肯定是MIPI了。毕竟边缘AI芯片，除了算力之外，还缺少不了的就是MIPI接口。MIPI就是边缘AI芯片的眼睛，（用于连接摄像头）。毕竟和人不同，需要很多双眼睛，毕竟边缘AI芯片需要“眼观六路，耳听八方”。只有大脑，没有耳朵和眼睛，边缘AI芯片是不能工作的。同样还有USB接口，也可以支持一些USB摄像头。同样可以支持PCIe。RC和EP都支持，也就是说，可以同时作为加速卡插在别的主机上，也可以作为主设备插别的加速卡。同时在网络方面，支持4路10G口，可以实现高速互联，如果有需要可以实现高速网络传输，或者几个JESTON AGX的互联。

根据这些参数，芯片面积小不了，我觉得这颗芯片可能是7nm的制程。才能在面积和功耗上比较平衡一下。其典型功耗大约在15W，30W，45W几个不同的量级上。

边缘AI芯片作用

作为一个方案商，不但要有一个非常强劲的AI引擎，其次要有很多的视频输入源。最后要通过一个非常强悍的AI框架（SDK）将这些硬件运行起来。也就是说边缘AI需要根据用户对于AI的需求二次开发。刚才提到，边缘AI其中一个重要的特征就是，根据工业场景进行AI+场景的再开发。很多AI芯片纸面性能很强，但是如何将这些算力转换成用户感知的提升，这个里面就有很多内功可做。因此工业用户需要的是一个开放AI平台，而不是一个只有算力的芯片，更重要的是，要根据用户需求进行AI业务开发。

边缘AI适用于哪些应该场景？

边缘AI的应用领域非常广泛，包括智能家居、智慧交通、餐厅送餐机器人、新零售应用、AR/VR/元宇宙、机器人编程、智慧工业/物流/金融等。

尤其是边缘AI视觉，具体来看，常用的技术包括图像分类、目标检测、语音分割等。图像分类，将图像送入网络，然后网络对图像数据分类，在安防、互联网、消费电子、汽车、医疗领域都有应用，比如用于进行人体车辆属性分类、人车分类、红绿灯、病灶标注等，用到的典型模型包括AlexNet、GoogLeNet、VGGNet、RESNET、DenseNet、mobilenet等。

目标检测，即识别图像中的很多对象，并为各个对象输出边界框和分类标签，典型模型包括YOLO、SSD、Fast R-CNN。用于安防领域的人脸检测、目标检测，互联网领域的内容审查，消费电子领域的手机相册分类，汽车领域的人车检测，医疗领域的病灶识别与标注等。

语音分割，将整个图像分成一个个像素组，然后对其进行标记和分类，语音分割试图在语音上理解图像中每个像素的角，典型模型包括FCN、SegNet。用于在安防领域的行为姿态检测，互联网领域的广告，汽车领域的可行驶区域感知，医疗领域的CT、X光辅助诊断。

经过过去这些年的发展，边缘AI的应用场景越来越丰富，视觉感知的需求在提升，算法也越来越复杂，对算力的需求也越来越多。

（注：文章内容摘自于网络，如有侵权请联系删除）