第4章嵌入式A软件开发平台 CANN异构计算架构 CANN5.0概述 MindStudio3集成开发环境
第4章 嵌入式AI软件开发平台 CANN异构计算架构 CANN5.0概述 MindStudio3集成开发环境
CANN异构计算架构
CANN异构计算架构
CANN异构计算架构 异构计算 CANN的引入 软件栈 通常做AI模型分两步，先选用一种框架来搭建Al模型，像常见的Cafe、 Tensorflow、PyTorch、MindSpore等；再选用合适的硬件(CPU、GPU等) ACL子系统 来训练A模型。但是在A训练框架和硬件之间，其实还有一层不可或缺的“中 GE子系统 间架构”，用来优化AI模型在处理器上的运行性能，这就是A1异构计算架构。 FE子系统 CANN(Compute Architecture for Neural Networks)是华为公司针对昇 TBE子系统 腾AI应用场景推出的异构计算架构，通过提供多层次的编程接口，支持用户 快速构建基于昇腾平台的AI应用和业务。 TS子系统 主要包括昇腾硬件的统一编程接口一一AscendCL(Ascend Computing AI CPU Language)、算子开发工具，以及深度协同优化的高性能算子库。 DVPP子系统
CANN异构计算架构 CANN的引入 通常做AI模型分两步，先选用一种框架来搭建AI模型，像常见的Caffe、 Tensorflow、PyTorch、MindSpore等；再选用合适的硬件（CPU、GPU等） 来训练AI模型。但是在AI训练框架和硬件之间，其实还有一层不可或缺的“中 间架构”，用来优化AI模型在处理器上的运行性能，这就是AI异构计算架构。 CANN (Compute Architecture for Neural Networks)是华为公司针对昇 腾AI应用场景推出的异构计算架构，通过提供多层次的编程接口，支持用户 快速构建基于昇腾平台的AI应用和业务。 主要包括昇腾硬件的统一编程接口——AscendCL（Ascend Computing Language）、算子开发工具，以及深度协同优化的高性能算子库。 异构计算 软件栈 ACL子系统 GE子系统 FE子系统 TBE子系统 TS子系统 AI CPU DVPP子系统
CANN异构计算架构 异构计算 9 CANN的理解： 软件栈 ● 异腾A芯片的达芬奇架构在硬件设计上采用了计算资源的定制化设计，功能 ACL子系统 执行与硬件高度适配，为卷积神经网络计算性能的提升提供了强大的硬件基 GE子系统 础。 对于一个神经网络的算法，从各种开源框架，到神经网络模型的实现，再到 FE子系统 实际芯片上的运行，中间需要多层次的软件结构来管理网络模型、计算流以 TBE子系统 及数据流。 ● 神经网络软件流为从神经网络到异腾A!芯片的落地实现过程提供了有力支撑 TS子系统 同时开发工具链为基于异腾A芯片的神经网络应用开发带了诸多便利，而神 AI CPU 经网络软件流和开发工具链构成了异腾AI芯片的基础软件栈CANN,从上而 下支撑起整个芯片的执行流程。 DVPP子系统
CANN异构计算架构 CANN的理解： 昇腾AI芯片的达芬奇架构在硬件设计上采用了计算资源的定制化设计，功能 执行与硬件高度适配，为卷积神经网络计算性能的提升提供了强大的硬件基 础。 对于一个神经网络的算法，从各种开源框架，到神经网络模型的实现，再到 实际芯片上的运行，中间需要多层次的软件结构来管理网络模型、计算流以 及数据流。 神经网络软件流为从神经网络到昇腾AI芯片的落地实现过程提供了有力支撑， 同时开发工具链为基于昇腾AI芯片的神经网络应用开发带了诸多便利，而神 经网络软件流和开发工具链构成了昇腾AI芯片的基础软件栈CANN ，从上而 下支撑起整个芯片的执行流程。 异构计算 软件栈 ACL子系统 GE子系统 FE子系统 TBE子系统 TS子系统 AI CPU DVPP子系统
CANN异构计算架构 异构计算 异构计算 软件栈 ACL子系统 区别于同构计算（同类硬件分布式计算，比如多核CPU),异构计 算指将任务高效合理地分配给不同的硬件，例如GPU做浮点运算、NPU GE子系统 做神经网络运算、FPGA做定制化编程计算。通过针对硬件特点进行分工 FE子系统 最大限度地发挥异构计算的优势，从而加速训川练/推理速度。 TBE子系统 华为发布了AI全栈硬件架构，包括底层的系列硬件、芯片，以及异构 TS子系统 计算架构，AI框架，行业应用等。华为昇腾AI全栈的核心是异构计算架 构CNN,发挥承上启下的关键作用。通过提供多层次的编程接口，支持 AI CPU 用户快速构建基于Ascend平台的AI应用和业务。 DVPP子系统
CANN异构计算架构 异构计算 区别于同构计算（同类硬件分布式计算，比如多核CPU），异构计 算指将任务高效合理地分配给不同的硬件，例如GPU做浮点运算、NPU 做神经网络运算、FPGA做定制化编程计算。通过针对硬件特点进行分工， 最大限度地发挥异构计算的优势，从而加速训练/推理速度。 华为发布了AI全栈硬件架构，包括底层的系列硬件、芯片，以及异构 计算架构，AI框架，行业应用等。华为昇腾AI全栈的核心是异构计算架 构CANN，发挥承上启下的关键作用。通过提供多层次的编程接口，支持 用户快速构建基于Ascend平台的AI应用和业务。 异构计算 软件栈 ACL子系统 GE子系统 FE子系统 TBE子系统 TS子系统 AI CPU DVPP子系统