一从芯片类型来看 A!芯片主要包括图形处理器(GPU)、现场可编程门阵列(FPGA)、专用集成电路(ASC)、神经拟态芯片(NPU) 等。人工智能深度学习需要异常强大的并行处理能力。芯片厂商正在通过不断研发和升级新的芯片产品来 应对这一挑战，特别是GPU,同样也包括FPGA、ASIC和NPU等。IDC研究发现，2021年上半年中国人 工智能芯片中，GPU依然是实现数据中心加速的首选，占有90%以上的市场份额，而ASIC,FPGA,NPU 等其他非GPU芯片也在各个行业和领域被越来越多地采用，整体市场份额接近10%，预计到2025年其占 比将超过20%。神经拟态芯片具有低功耗、低延迟、高处理速度等优势，其产业化和商业化还在持续演进中， 机器学习的发展和对脑研究的深入将为神经拟态芯片的进一步发展带来更多可能性。 图2中国人工智能服务器市场规模（按加速卡类型） FPGA:0.3%- AS1C:1.5% NPU:6.3% GPU:91.9% ■GPU■NPU■ASIC■FPGA 来源：DC,2021 。从工作负载角度来看： 人工智能芯片需要完成对于推理与训练任务的高效支撑。训练是指借助已有的大量数据样本进行学习，获 得诸如更准确的识别和分类等能力的过程，对计算的精度要求较高，它直接影响推断的准确度。这就要求 训练芯片应具有强大的单芯片计算能力，目前GPU芯片被认为更适合用于承担训练负载。而推理过程则 09
从芯片类型来看 AI芯片主要包括图形处理器（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、神经拟态芯片（NPU） 等。人工智能深度学习需要异常强大的并行处理能力。芯片厂商正在通过不断研发和升级新的芯片产品来 应对这一挑战，特别是 GPU，同样也包括 FPGA、ASIC 和 NPU 等。IDC 研究发现，2021 年上半年中国人 工智能芯片中，GPU 依然是实现数据中心加速的首选，占有 90% 以上的市场份额，而 ASIC，FPGA，NPU 等其他非 GPU 芯片也在各个行业和领域被越来越多地采用，整体市场份额接近 10%，预计到 2025 年其占 比将超过 20%。神经拟态芯片具有低功耗、低延迟、高处理速度等优势，其产业化和商业化还在持续演进中， 机器学习的发展和对脑研究的深入将为神经拟态芯片的进一步发展带来更多可能性。 图 2 中国人工智能服务器市场规模（按加速卡类型） 从工作负载角度来看： 人工智能芯片需要完成对于推理与训练任务的高效支撑。训练是指借助已有的大量数据样本进行学习，获 得诸如更准确的识别和分类等能力的过程，对计算的精度要求较高，它直接影响推断的准确度。这就要求 训练芯片应具有强大的单芯片计算能力，目前 GPU 芯片被认为更适合用于承担训练负载。而推理过程则 来源：IDC，2021 GPU NPU ASIC FPGA 09
是指对新的数据，使用这些能力完成特定任务（比如分类、识别等）。根据DC研究发现，2020年中国 数据中心用于推理的芯片的市场份额已经超过50%，预计到2025年，用于推理的工作负载的芯片将达到 60.8%。目前市场来看，单芯片的推理能力将逐渐增强，将单芯片算力耗尽的推理任务和小规模推理任务将 出现混合部署趋势，芯片会逐步加强对于虚拟化技术的支持。 图3人工智能服务器推理和训练工作负载预测，2019-2025 100% 90% 80% 40.9% 51.5% 55.59% 56.59% 70% 58.5% 60.7% 60.8% 60% 50% 40% 30% 59.1% 48.5% 44.5% 43.5% 20% 41.5% 39.3% 39.2% 10% 0% 2019 2020 2021 2022 2023 2024 2025 ■训练 ■推理 来源：1DC,2021 ●从部署位置来看： 人工智能芯片可部署在云端数据中心、边缘侧和终端侧。云计算为人工智能提供了基础架构，目前云端是 承载海量数据处理和大规模计算的重要载体。云端人工智能芯片需要具备高存储容量，高浮点处理速度以 及高可扩展性。在新技术的驱动下，5G等连接技术降低了数据的传输和处理速度，为了分担数据中心的计 算压力并且也能提高实时响应速度，人工智能在边缘侧的处理将成为企业的一个关键增长领域。边缘侧人 工智能芯片部署规模大且分散，未来边缘智能芯片需求将迅速增长，这就要求芯片需要具备适配各类复杂 环境的能力。人工智能在边缘以及端侧将有广泛的应用场景，从自动驾驶到工业制造，再到消费者智能家 居和可穿戴设备，处于端侧、边缘侧的人工智能芯片需要在功耗、计算性能、形状和物料成本之间取得平衡。 广阔的发展空间不仅带来机会，也意味着更为激烈的竞争环境。可以较好洞察市场需求点、不断提升芯片性能、突围 技术壁垒、重视生态圈的芯片厂商可更好掌握发展机遇。 10
是指对新的数据，使用这些能力完成特定任务（比如分类、识别等）。根据 IDC 研究发现，2020 年中国 数据中心用于推理的芯片的市场份额已经超过 50%，预计到 2025 年，用于推理的工作负载的芯片将达到 60.8%。目前市场来看，单芯片的推理能力将逐渐增强，将单芯片算力耗尽的推理任务和小规模推理任务将 出现混合部署趋势，芯片会逐步加强对于虚拟化技术的支持。 从部署位置来看： 人工智能芯片可部署在云端数据中心、边缘侧和终端侧。云计算为人工智能提供了基础架构，目前云端是 承载海量数据处理和大规模计算的重要载体。云端人工智能芯片需要具备高存储容量，高浮点处理速度以 及高可扩展性。在新技术的驱动下，5G 等连接技术降低了数据的传输和处理速度，为了分担数据中心的计 算压力并且也能提高实时响应速度，人工智能在边缘侧的处理将成为企业的一个关键增长领域。边缘侧人 工智能芯片部署规模大且分散，未来边缘智能芯片需求将迅速增长，这就要求芯片需要具备适配各类复杂 环境的能力。人工智能在边缘以及端侧将有广泛的应用场景，从自动驾驶到工业制造，再到消费者智能家 居和可穿戴设备，处于端侧、边缘侧的人工智能芯片需要在功耗、计算性能、形状和物料成本之间取得平衡。 广阔的发展空间不仅带来机会，也意味着更为激烈的竞争环境。可以较好洞察市场需求点、不断提升芯片性能、突围 技术壁垒、重视生态圈的芯片厂商可更好掌握发展机遇。 图 3 人工智能服务器推理和训练工作负载预测，2019-2025 来源：IDC，2021 2019 2020 2021 2022 2023 2024 2025 59.1% 40.9% 70% 51.5% 55.5% 56.5% 58.5% 60.7% 60.8% 80% 90% 100% 60% 50% 40% 30% 20% 10% 0% 48.5% 44.5% 43.5% 41.5% 39.3% 39.2% 10
未来人工智能芯片算力应持续提升，满足模型规模增长态势，注重成本、性能功耗比，满足不同场 景应用的需求。 一人工智能技术通常需要对非结构化数据进行自主操作，这需要芯片提供强大的算力来满足人工智能高效处 理的需求。一个模型的训练通常需要通过大量的计算来完成，功耗密度持续提升，也意味着成本的攀升。 因此在输出算力的同时，高效的散热手段越来越重要，用户也开始关注芯片的能耗，高算力低能耗的芯片 将更受关注，预计未来3-5年，训练“碳足迹”将纳入评估指标。 一伴随着人工智能在各个行业的应用，各类人工智能芯片的需求也在大大提高。未来针对不同的人工智能应 用类型和场景，将会有深度学习之外的新型算法脱颖而出，这就要求智能芯片的架构不能仅仅针对深度学 习设计，也要适应不同类型的算法，具备灵活性。许多传统行业，例如制造、医疗、能源等都有了对应的 解决方案，简化其生产过程。在企业运行A1的过程中，通常会面临诸多挑战或需求，比如：工作负载范围广， 不能依靠统一的解决方案实现；需要丰富的计算资源，并且要低时延和低能耗；新框架和解决方案需要快 速更新迭代；大客户正在寻找最佳解决方案，试验各种架构，包括定制ASC等。这些需求的不断出现对芯 片的计算力，能耗，开发难度，架构等方面有了更高的要求。 图4企业芯片需求考量维度 能耗 复杂度 算力 金 纸 维度 品 后存储 灵活性 访问 思 部署便捷性 来源：1DC,2021 11
图 4 企业芯片需求考量维度 人工智能技术通常需要对非结构化数据进行自主操作，这需要芯片提供强大的算力来满足人工智能高效处 理的需求。一个模型的训练通常需要通过大量的计算来完成，功耗密度持续提升，也意味着成本的攀升。 因此在输出算力的同时，高效的散热手段越来越重要，用户也开始关注芯片的能耗，高算力低能耗的芯片 将更受关注，预计未来 3-5 年，训练“碳足迹”将纳入评估指标。 伴随着人工智能在各个行业的应用，各类人工智能芯片的需求也在大大提高。未来针对不同的人工智能应 用类型和场景，将会有深度学习之外的新型算法脱颖而出，这就要求智能芯片的架构不能仅仅针对深度学 习设计，也要适应不同类型的算法，具备灵活性。许多传统行业，例如制造、医疗、能源等都有了对应的 解决方案，简化其生产过程。在企业运行 AI 的过程中，通常会面临诸多挑战或需求，比如：工作负载范围广， 不能依靠统一的解决方案实现；需要丰富的计算资源，并且要低时延和低能耗；新框架和解决方案需要快 速更新迭代；大客户正在寻找最佳解决方案，试验各种架构，包括定制 ASIC 等。这些需求的不断出现对芯 片的计算力，能耗，开发难度，架构等方面有了更高的要求。 未来人工智能芯片算力应持续提升，满足模型规模增长态势，注重成本、性能功耗比，满足不同场 景应用的需求。 来源：IDC，2021 11