ai芯片和cpu芯片有什么不同

AI芯片和GPU芯片在设计目标、性能、功耗和应用场景等方面存在显著差异。

设计目标：AI芯片（如ASIC）是专门为特定的AI算法和任务设计的，能够在处理这些特定任务时提供高效的性能。相比之下，GPU芯片最初是为图形处理设计的，具有强大的并行计算能力，适用于各种不同类型的AI算法和模型。

性能：AI芯片在处理特定任务时，性能表现优异。例如，谷歌的TPU在处理深度学习任务时，相比通用的GPU，其性能有显著提升。GPU则在处理复杂、不规则的计算任务时表现出色，如自然语言处理和计算机视觉中的多尺度图像特征。

功耗：AI芯片通常具有较低的功耗，因为其设计目标明确，能够针对特定任务进行功耗优化。GPU由于其强大的性能和大量的计算单元，功耗相对较高，特别是在进行大规模的训练任务或处理复杂的模型时。

灵活性：AI芯片功能相对固定，一旦设计完成并流片生产，其能够支持的算法和任务类型就基本确定了，难以进行灵活的修改和扩展。GPU作为通用型的处理器，具有很高的灵活性，能够运行各种不同类型的算法和模型，支持多种编程语言和开发框架。

成本：AI芯片由于其定制化的特点，在大规模量产的情况下，能够有效降低单位成本。GPU的研发和制造成本相对较高，特别是高端的GPU产品，其价格昂贵。

综上所述，AI芯片和GPU芯片各有优劣，选择哪种芯片取决于具体的应用场景和需求。在需要高效处理特定AI任务且功耗敏感的场景下，AI芯片是更好的选择。而在需要灵活应对多种AI算法和模型的场景下，GPU则更具优势。



采用GPU、FPGA 等适合并行计算的通用芯片来实现加速。同时有部分芯片企业开始设计专门用于AI算法的ASIC专用芯片，比如谷歌TPU、地平线BPU等。
什么是人工智能（AI）芯片？
从广义上讲，能运行AI算法的芯片都叫AI芯片。
目前通用的CPU、GPU、FPGA等都能执行AI算法，只是执行效率差异较大。
但狭义上讲一般将AI芯片定义为“专门针对AI算法做了特殊加速设计的芯片”。

目前AI芯片的主要用于语音识别、自然语言处理、图像处理等大量使用AI算法的领域，通过芯片加速提高算法效率。AI芯片的主要任务是矩阵或向量的乘法、加法，然后配合一些除法、指数等算法。AI算法在图像识别等领域，常用的是CNN卷积网络，一个成熟的AI算法，就是大量的卷积、残差网络、全连接等类型的计算，本质是乘法和加法。
对汽车行业而言，AI芯片的主要用于就是处理智能驾驶中环境感知、传感器融合和路径规划等算法带来的大量并行计算需求。
AI芯片可以理解为一个快速计算乘法和加法的计算器，而CPU要处理和运行非常复杂的指令集，难度比AI芯片大很多。GPU虽然为图形处理而设计，但是CPU与GPU并不是专用AI芯片，其内部有大量其他逻辑来实现其他功能，这些逻辑对于目前的AI算法来说完全无用。目前经过专门针对AI算法做过开发的GPU应用较多，也有部分企业用FPGA做开发，但是行业内对于AI算法必然出现专用AI芯片。
传统的CPU、GPU都可以拿来执行AI算法，但是速度慢，性能低，尤其是CPU，在智能驾驶领域无法实际投入商用。
比如，自动驾驶需要识别道路、行人、红绿灯等路况和交通状况，这在自动驾驶算法里面都是属于并行计算，如果是CPU去执行计算，那么估计车撞到人了也没算出来个结果，CPU并行计算速度慢属于先天不足。如果用GPU速度要快得多，毕竟GPU专为图像处理并行计算设计，但是GPU功耗过大，汽车的电池无法长时间支撑正常使用，而且GPU价格相对较高，用于自动驾驶量产的话普通消费者也用不起。

在智能驾驶这样的领域，环境感知、物体识别等深度学习应用要求计算响应方面必须快！时间就是生命，慢一步就有可能造成无法挽回的情况，但是保证性能快效率高的同时，功耗不能过高，不能对智能汽车的续航里程造成较大影响，也就是AI芯片必须功耗低，所以GPU不是适合智能驾驶的最佳AI芯片选择。因此开发ASIC就成了必然。
AI芯片的种类
当前主流的AI芯片主要分为三类，GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构，属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算，但是在AI应用领域也是必不可少，另外一种说法是还有一种类脑芯片，算是ASIC的一种。

FPGA（Field Programmable Gate Array，现场可编程门阵列）具有足够的计算能力和足够的灵活性。FPGA的计算速度快是源于它本质上是无指令、无需共享内存的体系结构。对于保存状态的需求，FPGA中的寄存器和片上内存（BRAM）是属于各自的控制逻辑的，无需不必要的仲裁和缓存，因此FPGA在运算速度足够快，优于GPU。同时FPGA也是一种半定制的硬件，通过编程可定义其中的单元配置和链接架构进行计算，因此具有较强的灵活性。相对于GPU，FPGA能管理能运算，但是相对开发周期长，复杂算法开发难度大。
ASIC（Application Specific Integrated Circuit特定用途集成电路）根据产品的需求进行特定设计和制造的集成电路，能够在特定功能上进行强化，具有更高的处理速度和更低的能耗。缺点是研发成本高，前期研发投入周期长，且由于是定制化，可复制性一般，因此只有用量足够大时才能够分摊前期投入，降低成本。
4.1 CPU (CentralProcessing Unit)中央处理器作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，CPU 是对计算机的所有硬件资源（如存储器、输入输出单元） 进行控制调配、执行通用运算的核心硬件单元。
优点：CPU有大量的缓存和复杂的逻辑控制单元，非常擅长逻辑控制、串行的运算
缺点：不擅长复杂算法运算和处理并行重复的操作。
对于AI芯片来说，算力最弱的是cpu。
4.2 GPU (GraphicsProcessing Unit)图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。
优点：提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算，拥有更高的浮点运算能力。
缺点：管理控制能力（最弱），功耗（最高）。
生产厂商：AMD、NVIDIA
4.3 FPGA（Field Programmable Gate Array）FPGA是在PAL、GAL等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
优点：可以无限次编程，延时性比较低，同时拥有流水线并行和数据并行（GPU只有数据并行）、实时性最强、灵活性最高
缺点：开发难度大、只适合定点运算、价格比较昂贵
生产厂商：Altera（Intel收购）、Xilinx
4.4 ASIC（Application Specific IntegratedCircuit）ASIC,即专用集成电路，指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。目前用CPLD（复杂可编程逻辑器件）和 FPGA（现场可编程逻辑阵列）来进行ASIC设计是最为流行的方式之一。
优点:它作为集成电路技术与特定用户的整机或系统技术紧密结合的产物，与通用集成电路相比具有体积更小、重量更轻、 功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点。
缺点：灵活性不够，成本比FPGA贵
主要性能指标：功耗、速度、成本
生产厂商：谷歌、地平线、寒武纪等

4.5 四种芯片的特性总结CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强，计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。
GPU 作为图像处理器，设计初衷是为了应对图像处理中需要大规模并行计算。因此，其在应用于深度学习算法时，有三个方面的局限性：
第一，应用过程中无法充分发挥并行计算优势。深度学习包含训练和应用两个计算环节，GPU 在深度学习算法训练上非常高效，但在应用时一次性只能对于一张输入图像进行处理，并行度的优势不能完全发挥。
第二，硬件结构固定不具备可编程性。深度学习算法还未完全稳定，若深度学习算法发生大的变化，GPU 无法像FPGA 一样可以灵活的配置硬件结构。
第三，运行深度学习算法能效远低于FPGA。学术界和产业界研究已经证明，运行深度学习算法中实现同样的性能，GPU 所需功耗远大于FPGA，例如国内初创企业深鉴科技基于FPGA 平台的人工智能芯片在同样开发周期内相对GPU 能效有一个数量级的提升。
FPGA，其设计初衷是为了实现半定制芯片的功能，即硬件结构可根据需要实时配置灵活改变。
研究报告显示，目前的FPGA市场由Xilinx 和Altera 主导，两者共同占有85%的市场份额，其中Altera 在2015 年被intel以167 亿美元收购， Xilinx则选择与IBM进行深度合作，背后都体现了 FPGA 在人工智能时代的重要地位。
尽管 FPGA 倍受看好，甚至百度大脑、地平线AI芯片也是基于FPGA 平台研发，但其毕竟不是专门为了适用深度学习算法而研发，实际仍然存在不少局限：
第一，基本单元的计算能力有限。为了实现可重构特性，FPGA 内部有大量极细粒度的基本单元，但是每个单元的计算能力（主要依靠LUT 查找表）都远远低于CPU 和GPU中的ALU模块。
第二，速度和功耗相对专用定制芯片（ASIC）仍然存在不小差距。
第三，FPGA 价格较为昂贵，在规模放量的情况下单块FPGA 的成本要远高于专用定制芯片。
人工智能定制芯片是大趋势，从发展趋势上看，人工智能定制芯片将是计算芯片发展的大方向。

5.1 通用芯片—GPUGPU（Graphics Processing Unit）即为图形处理器。NVIDIA公司在1999年发布GeForce256图形处理芯片时首先提出GPU的概念。从此NVIDIA显卡的芯就用这个新名字GPU来称呼。GPU使显卡削减了对CPU的依赖，部分替代原本CPU的工作，特别是在3D图形处理方面。由于在浮点运算、并行计算等方面，GPU可以提供数十倍乃至于上百倍于CPU的性能。
GPU相比CPU更适合人工智能计算。GPU和CPU分别针对的是两种不同的应用场景，他们的设计目标不同，CPU需要很强的通用性来处理各种不同的数据类型，同时逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU擅长的则是在不需要被打断的纯净的计算环境中进行类型高度统一的、相互无依赖的大规模数据处理，人工智能的计算恰巧主要是后者，这使得原本为图像处理而生的GPU在人工智能时代焕发第二春。
CPU的逻辑运算单元（ALU）较少，控制器（control）占比较大；GPU的逻辑运算单元（ALU）小而多，控制器功能简单，缓存（cache）也较少。架构的不同使得CPU擅长进行逻辑控制、串行计算，而GPU擅长高强度的并行计算。GPU单个运算单元处理能力弱于CPU的ALU，但是数量众多的运算单元可以同时工作，当面对高强度并行计算时，其性能要优于CPU。现如今GPU除了图像处理外，也越来越多的运用到别的计算中。
CPU根据功能划分，将需要大量并行计算的任务分配给GPU。GPU从CPU获得指令后，把大规模、无结构化的数据分解成许多独立部分，分配给各个流处理集群（SMM）。每个流处理集群再次把数据分解，分配给调度器，调度器将任务放入自身所控制的计算核心core中完成最终的数据处理任务。
GPU性能较强但功耗较高。以NVIDIA开发的GPU为例，Xavier最高算力为30Tops，功耗为30W，NVIDIA最新发布的GPUA100相比Volta架构的640个Tensor Core，A100核心的TensorCore减少到了432个，但是性能大幅增强，支持全新的TF32运算，浮点性能156TFLOPS，同时INT8浮点性能624TOPS，FP16性能312TFLOPS，同时功耗也达到了400W。

5.2 半定制化芯片—FPGAFPGA（Field－ProgrammableGate Array），即现场可编程门阵列。它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
FPGA内部有很多可配置逻辑模块（CLB），这些模块是现实逻辑功能的基本单元，FPGA可通过灵活地配置CLB来令其实现工程师想要实现的逻辑功能。FPGA的并行处理能力也很强大，其可编程性也适用于不断优化的深度学习算法的运算。目前很多公司基于FPGA开发人工智能处理器。于2016年成立的深鉴科技，就在研发深度学习通用解决方案。2016年初，深鉴科技就设计了基于FPGA、针对深度学习的DPU硬件架构。该产品实现了高性能功耗比，并且成本也比GPU产品低很多。今年8月加州的Hot Chips大会上，百度也发布了其基于FPGA芯片的A.I加速芯片—XPU。该芯片有256核，旨在寻求性能和效率的平衡，处理多样化计算任务。
基于FPGA开发的人工智能处理器具有高性能、低能耗、可硬件编程的特点。
1）高性能
除了GPU，FPGA也擅长并行计算，基于FPGA开发的处理器可以实现更高的并行计算。而且FPGA带有丰富的片上存储资源，可以大大减少访问片外存储的延迟，提高计算性能，访问DRAM储存大约是访问寄存器存储延迟的几百倍以上。
2）低能耗
相比于CPU和GPU，FPGA的能耗优势主要有两个原因：1）相比于CPU、GPU，FPGA架构有一定的优化，CPU、GPU需要频繁的访问DRAM，而这个能量消耗较大，FPGA可以减少这方面的能耗。2）FPGA的主频低，CPU和GPU的主频一般在1-3GHz之间，而FPGA的主频一般在500MHz一下。因此，FPGA的能耗要低于CPU、GPU。
3）可硬件编程
FPGA可硬件编程，并且可以进行静态重复编程和动态系统重配置。用户可像编程修改软件一样修改系统的硬件功能，大大增强了系统设计的灵活性和通用性。使得FPGA可以灵活地部署在需要修改硬件设置场景中。
FPGA+CPU异构架构被越来越多地研究和认可。相比于CPU+GPU，因为FPGA的高性能低功耗等优势使FPGA+CPU可以提供更好的单位功耗性能，且更易于修改和编程。因此FPGA适合做可并行计算的任务，如矩阵运算。如果是一些判断类的问题，FPGA算得并没有CPU快。所以已经有研究人员探讨FPGA+CPU的架构模式。

5.3 全定制芯片—ASICASIC（Application Specific IntegratedCircuit）在集成电路界被认为是一种为专门目的而设计的集成电路。是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。ASIC的特点是面向特定用户的需求，ASIC在批量生产时与通用集成电路相比具有体积更小、功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点。简单地讲，ASIC芯片就是通过台积电等代工厂流片的芯片。目前，基于ASIC的人工智能芯片有地平线BPU、谷歌的TPU。
基于ASIC开发人工智能芯片开发周期较长。基于ASIC开发人工智能芯片更像是电路设计，需要反复优化，需要经历较长的流片周期，故开发周期较长。
量产后ASIC人工智能芯片成本及价格较低。虽然相较于FPGA， ASIC人工智能芯片需要经历较长的开发周期，并且需要价格昂贵的流片投入，但是这些前期开发投入在量产后会被摊薄，所以量产后，ASIC人工智能芯片的成本和价格会低于FPGA人工智能芯片。
ASIC芯片性能功耗比较高。从性能功耗比来看，ASIC作为定制芯片，其性能要比基于通用芯片FPGA开发出的各种半定制人工智能芯片更具有优势。而且ASIC也并不是完全不具备可配置能力，只是没有FPGA那么灵活，只要在设计的时候把电路做成某些参数可调即可。
ASIC人工智能芯片主要面向消费电子市场。ASIC更高的性能，更低的量产成本以及有限可配置特性，使其主要面向消费电子市场，如寒武纪等公司。

5.4 类脑芯片类人脑芯片架构是一款基于神经形态的工程，旨在打破“冯·诺依曼”架构的束缚，模拟人脑处理过程，感知世界、处理问题。这种芯片的功能类似于大脑的神经突触，处理器类似于神经元，而其通讯系统类似于神经纤维，可以允许开发者为类人脑芯片设计应用程序。通过这种神经元网络系统，计算机可以感知、记忆和处理大量不同的信息。类脑芯片的两大突破：1、有望形成自主认知的新形式；2、突破传统计算机体系结构的限制，实现数据并行传送、分布式处理，能以极低功耗实时处理大量数据。

CPU 有强大的调度、管理、协调能力。应用范围广。开发方便且灵活。但其在大量数据处理上没有 GPU 专业，相对运算量低，但功耗不低。
GPU：是单指令、多数据处理，采用数量众多的计算单元和超长的流水线，如名字一样，图形处理器，GPU善于处理图像领域的运算加速。但GPU无法单独工作，必须由CPU进行控制调用才能工作。CPU可单独作用，处理复杂的逻辑运算和不同的数据类型，但当需要大量的处理类型统一的数据时，则可调用GPU进行并行计算。
FPGA：和GPU相反，FPGA适用于多指令，单数据流的分析，因此常用于预测阶段，如云端。FPGA是用硬件实现软件算法，因此在实现复杂算法方面有一定的难度，缺点是价格比较高。将FPGA和GPU对比发现，一是缺少内存和控制所带来的存储和读取部分，速度更快。二是因为缺少读取的作用，所以功耗低，劣势是运算量并不是很大。结合CPU和GPU各自的优势，有一种解决方案就是异构。
ASIC芯片：是专用定制芯片，为实现特定要求而定制的芯片。除了不能扩展以外，在功耗、可靠性、体积方面都有优势，尤其在高性能、低功耗的移动端。谷歌的TPU、寒武纪的MLU，地平线的BPU都属于ASIC芯片。谷歌的TPU比CPU和GPU的方案快30-80倍，与CPU和GPU相比，TPU把控制缩小了，因此减少了芯片的面积，降低了功耗。


四种架构将走向哪里？
众所周知，通用处理器（CPU）的摩尔定律已入暮年，而机器学习和Web 服务的规模却在指数级增长。
人们使用定制硬件来加速常见的计算任务，然而日新月异的行业又要求这些定制的硬件可被重新编程来执行新类型的计算任务。
将以上四种架构对比，GPU未来的主攻方向是高级复杂算法和通用性人工智能平台，其发展路线分两条走：一是主攻高端算法的实现，对于指令的逻辑性控制要更复杂一些，在面向需求通用的AI计算方面具有优势；二是主攻通用性人工智能平台，GPU的通用性强，所以应用于大型人工智能平台可高效完成不同的需求。FPGA更适用于各种细分的行业，人工智能会应用到各个细分领域。
ASIC芯片是全定制芯片，长远看适用于人工智能。现在很多做AI算法的企业也是从这个点切入。因为算法复杂度越强，越需要一套专用的芯片架构与其进行对应，ASIC基于人工智能算法进行定制，其发展前景看好。类脑芯片是人工智能最终的发展模式，但是离产业化还很遥远。
几个品牌的SOC及域控制器做的还是不错的，尤其是基于NVIDIA Xavier以及前期PX2等芯片的开发。国内大部分企业的应用比较集中在Xavier平台和Linux系统，尤其是新势力造车企业，而传统车企更青睐TI、瑞萨等半导体公司的智能AI芯片以及QNX系统。国内基于Xavier做开发的企业很多，天津优控智行目前的域控制器产品在行业内属于中等偏上水平，但是其软件工具和服务做得相对有些优势，后期有时间也扒一扒地平线、智行者等企业的域控制器学习学习。

CPU（中央处理器）是电脑、手机的 “核心指挥中心”，就像家里的管家：要管你追剧、聊微信、用 AI 翻译，还得处理后台更新，确保所有任务不 “打架”。

它的特点是 “少而精”：核心数量通常只有几个到几十个，但配了 L1、L2、L3 三级 “高速缓存”，还有复杂的 “控制器”，特别擅长处理 “多任务切换”“复杂逻辑判断” 这类活。

比如你边用 AI 软件修图，边挂着微信，还开着浏览器查资料，CPU 能快速在这些任务间 “跳转”，保证每个程序都不卡顿。—— 它的运算单元（ALU）只占自身的 5%-20%，大部分资源都用在 “调度” 上，只能 “一张一张处理照片”，效率自然低。目前主流的 CPU 分两类：一类是复杂指令集（CISC）的 x86 架构，英特尔、AMD 常用，国内兆芯、海光等企业能用到；另一类是精简指令集（RISC）的 ARM 架构，苹果手机、华为平板里的 CPU 多是这种；还有一种开源的 RISC-V 架构，现在很多国内企业比如平头哥、中天微，都在基于它做国产 CPU。CPU的主要组成

CPU 多核硬件架构示


具体来说，GPU 的运算单元（ALU）占比超过 80%，还专门优化了 “浮点运算”—— 比如 AI 深度学习里最常用的矩阵乘法、向量运算，GPU 处理起来比 CPU 快得多。拿英伟达的 GPU 举例：一块 A100 GPU 的半精度浮点（FP16）算力能到 312 TFLOPS，相当于几十台 CPU 服务器加起来的能力；最新的 H200 GPU 更厉害，FP16 算力直接冲到 1979 TFLOPS，内存带宽也有 4.8 Tbps，能快速读取海量训练数据。

英伟达主流AI算卡参数

FPGA（现场可编程门阵列）根据需求修改电路功能。

它不用经历 “流片”（芯片试生产）这个环节，开发周期只要几周到几个月，小批量生产时，成本只有 ASIC 的 1/10，特别适合企业做 “新品测试”。

比如一家公司想做一款新的 AI 推理芯片，先用水 FPGA 做出 “原型机”，测试刷脸识别、图像分类这些功能没问题后，再批量生产 ASIC

而且 FPGA 特别省电，通常只有 30-50W，比 GPU 的 250-700W 低很多，适合装在手机、摄像头这些 “端侧设备” 里。

不过 FPGA 也有缺点：它的 “峰值算力” 不如 ASIC，而且编程得用 Verilog、VHDL 这些专门的硬件语言，技术门槛不低。

FPGA 内部结构图



2 ASIC：为 AI “量身定制” 的 “超级引擎”？
ASIC（专用集成电路）是 “定制款” 芯片 —— 比如谷歌的 TPU、华为的昇腾 910，都是专门为 AI 运算设计的。它的优点很突出：性能强、功耗低、大批量生产时成本还低。因为它的核心数量、逻辑单元比例、缓存大小，都是按具体任务 “精准定制” 的，没有一点 “多余功能”。拿谷歌的 TPU 举例：TPU v4 用了 7nm 工艺，里面有 220 亿个晶体管，在神经网络计算里，性能比传统 GPU 强 1.7 倍，能效更是高 30-80 倍；华为的昇腾 910 也很厉害，半精度浮点（FP16）算力能到 320 TFLOPS，还能适配 TensorFlow、PyTorch 这些主流 AI 框架，

但 ASIC 的 “缺点” 也很明显：开发成本极高 ——14nm 工艺的 ASIC，流片一次就要 300 万美元，5nm 工艺更贵，要 4725 万美元；开发周期也长，通常要 6 个月到 1 年，而且一旦设计好就没法改了 —— 要是市场需求变了，之前的投入可能就 “打水漂”。所以 ASIC 更适合 “需求量大、功能固定” 的场景，比如数据中心的 AI 训练、手机里的刷脸识别。

AI任务中99%以上的运算都是矩阵运算。现在的AI模型中包含大量的矩阵运算，AI专用芯片都是对矩阵乘法做了优化，通过引入各种处理单元来高效进行矩阵运算。

AI芯片分类 从业务应用来看，可以分为Training(训练)和Inference(推理)两个类型。
训练芯片需要考虑的因素更多，设计上也更加复杂，精度通常为FP32、FP16。推理芯片考虑的因素较少，推理芯片考虑的因素较少，对精度要求也不高，INT8即可。
1.Training(训练)
Training环节通常需要训练出一个复杂的深度神经网络模型。训练过程涉及海量的训练数据和复杂的深度神经网络结构，运算量巨大，需要庞大的计算规模，对于处理器的计算能力、精度、可扩展性等性能要求很高。常用的例如华为的Atlas900集群、NVIDIA的GPU集群等。
2.Inference(推理)
Inference环节指利用训练好的模型，使用新的数据去“推理”出各种结论，如视频监控设备通过后台的深度神经网络模型，判断一张抓拍到的人脸是否属于特定的目标。虽然Inference的计算量相比Training少很多，但仍然涉及大量的矩阵运算。在推理环节，CPU、NPU、GPU和FPGA都有很多应用价值。

                    

价一款AI芯片，可以从芯片类型、指令集类型、指令集架构、代表公司以及制程几个角度来看。

不同的芯片类型决定了芯片的用途和设计理念，所以这方面一定是了解芯片最关键的一点。指令集类型和指令集架构，跟芯片的生态息息相关，因为一款好的芯片，不光要具备强大的计算性能，也要有广泛、灵活的开发者生态体系，做到软硬结合。最后一点是公司以及制程，公司的市占率以及芯片的制程是否足够先进，关系到芯片的商用成熟度以及供货保障程度。

CPU、GPU、FPGA、ASIC是目前AI计算过程中最主流的四种芯片类型，他们的主要区别体现在计算效率、能耗和灵活性上面。

• CPU：CPU是冯诺依曼架构
  

• 下的处理器，遵循“Fetch (取指) -Decode (译码) - Execute (执行) - Memory Access (访存) -Write Back (写回)”的处理流程。在执行计算任务过程中，数据需要先获取并存入RAM，然后解码获得指令，然后在ALU计算模块计算，最终将计算结果返回RAM。整个流程更强调控制和决策，在并行计算效率上有较大提升空间
• GPU：GPU最早用于图像处理领域，减少了大量数据预取和决策模块，增加了计算单元ALU的占比，从而在并行化计算效率上有较大优势。
  

• FPGA：FPGA的设计使得计算逻辑十分灵活，它不像CPU和GPU那样只能执行编译和汇编的内容，FPGA因为几乎没有控制模块，所有模块都是ALU计算模块，而且所有模块都可定制开发。但这也是FPGA的主要缺陷，因为具备很强的灵活度，导致设计难度和复杂度较高。
  

• ASIC：ASIC是专门针对某一领域设计的芯片，比如神经网络计算芯片NPU、Tensor计算芯片TPU等。因为是针对特定领域定制，所以ASIC往往可以表现出比GPU和CPU更强的性能，ASIC也是目前国内外许多AI芯片设计公司主要研究的方向，可以预见未来市面上会逐渐有大量AI领域的ASIC芯片出现。
  

AI芯片的指令集，首先要了解指令集是什么。计算机执行任务的过程可以看作是把程序编译成硬件可以理解的语言，再有硬件完成最终的计算工作。指令集可以理解是为编程和编译服务的一种计算机硬件可以理解的语言。

指令集分复杂指令集（CSIC）和精简指令集(RISC)。

CSIC主要用于传统的CPU芯片领域，它的设计模式是把用一个指令完成较复杂的任务。RISC是精简指令集，把任务进行拆解，

接下来看下指令集架构（ISA），在AI领域需要重点关注ARM、RISC-V，国内外许多厂商也有在探索自研指令集架构，但是也是基于ARM或者RISC-V的设计思路。

ARM架构则是由英国的ARM Holdings公司开发的，它是为嵌入式系统和移动设备而设计的。ARM架构的主要特点是低功耗、高性能和可扩展性，它可以支持移动设备、嵌入式系统、智能家居等应用。

RISC-V是近些年非常流行的指令集架构，RISC-V与 ARM 和 MIPS 最大的差别还是在于其为 RISC-V 基金会进行标准的制定和维护工作而非商业公司，任何人可以无偿使用该指令集开发自己的 CPU ，或者往自己已有的芯片中集成开源免费的 RISC-V IP Core，这是比较吸引电子设备厂商的重要原因。

GPU的另外一个优势，是它有着比较成熟的编程框架，比如CUDA，或者OpenCL等等，这是GPU在AI领域得到爆发最直接的推动力量之一，也是GPU相比FPGA或者ASIC的最大优势之一。

但是，GPU的最大问题就是它的功耗。比如，英伟达的P100、V100和A100 GPU的功耗都在250W到400W之间。相比于FPGA或ASIC的几十瓦甚至几瓦的功耗而言，这个数字显得过于惊人了。

而对于神经网络的训练来说，它往往需要大量密集的GPU集群来提供充足的算力。这样一来，一个机柜的功耗就可能会超过几十千瓦。这就需要数据中心为它修改供电和散热等结构。比如传统的数据中心大都靠风扇散热，但如果要部署GPU，就可能要改成水冷散热。对于大数据中心来说，这是笔巨大的开销。

伴随着高功耗，更大的问题实际是高昂的电费开支。要知道，现代数据中心的运维成本里，电费开支占40%甚至更高。所以，对于GPU在数据中心里的大规模部署，我们通常考虑的是它所带来的性能优势，能否抵消它带来的额外电费。

ASIC

ASIC就是所谓的人工智能专用芯片。这里的典型代表，就是谷歌阿尔法狗里用的TPU

。根据谷歌的数据，TPU在阿尔法狗里替代了一千多个CPU和上百个GPU。

在我们的衡量体系里，这种AI专用芯片的各项指标都非常极端，比如它有着极高的性能和极低的功耗，和GPU相比，它的性能可能会高十倍，功耗会低100倍。

研发这样的芯片有着极高的成本和风险。与软件开发不同，芯片开发全程都需要大量的人力物力投入，开发周期往往长达数年，而且失败的风险极大。放眼全球，同时拥有雄厚的资金实力和技术储备以进行这类研发的公司，大概用两只手就能数的出来。也就是说，这种方案对于大多数公司而言并可能没有直接的借鉴意义。

此外呢，AI专用芯片的灵活性往往比较低。顾名思义，包括谷歌TPU在内的AI专用芯片，通常是针对某种特定应用而设计开发，因此它可能很难适用于其他的应用。在使用成本的角度，如果要采用基于ASIC的方案，就需要这类目标应用有足够的使用量，以分摊高昂的研发费用。同时，这类应用需要足够稳定，避免核心的算法和协议不断变化。

NPU 是一种专门用于处理机器学习算法的处理器。它能够比传统 CPU 和 GPU 更快地执行复杂的数学运算，这对于高效运行神经网络至关重要。
NPU 主要用于处理涉及大量小规模并行计算的 AI 任务。它在处理图片、视频等多媒体数据和神经网络数据时表现出色，因为这些处理器天生就是为了并行计算而设计的。
虽然 CPU 和 GPU 也能处理机器学习任务，但效率远不如 NPU。此外，在设备中集成 NPU 可以大大减轻 CPU 和 GPU 的负担，让它们能够更专注地执行其他任务。
NPU 在功能和外观上与特定应用集成电路（ASIC）类似，但两者并不相同。NPU 设计更为复杂和多功能，可以满足各种神经网络计算需求；而 ASIC 通常只针对单一用途。NPU 的强大能力来自于专门为神经网络计算而设计的硬件、软件、编程和驱动。

在 AI 计算中，需要执行大量的「乘加运算」（Multiply Accumulate, MAC）。大多数 AI 算法都是由许多这样的运算构成，它们在大数据集上往往形成树状结构，更适合分批处理较小的计算任务。
Google 开发的 TPU 同样专注于处理神经网络，与 NPU 功能相似。但它们在架构上有显著的不同。
与采用传统冯·诺依曼架构（将内存和处理单元分离）的 NPU 不同，TPU 采用了一种名为脉动阵列（Systolic Array）的特殊设计，将运算处理和内存单元合并在一个芯片上。因此，TPU 在进行并行计算时，能比 NPU 更快、更高效。
目前，TPU 只在 Google 的 Pixel 手机和 Google Cloud 云平台上提供，随着版本迭代，每一代的性能都会有所提升。
什么是 GPNPU？GPNPU 并不是 GPU + NPU 的结合体，而是代表「通用神经处理单元」(General Purpose Neural Processing Units)。
GPNPU 采用了统一处理器架构的单一执行管道，能够处理向量和矩阵运算，以及标量（控制）代码。由于整个设计只有一个由软件控制的核心，因此可以更轻松地处理复杂的并行工作负载。
我需要 NPU 吗？目前市场上的大多数 AI 服务，如 OpenAI 的 ChatGPT 语言模型，都在云端进行计算。那为什么还需要本地 NPU 呢？

• 使用本地 NPU 的一个主要优势是可以显著减少数据在 Intelnet 和本地之间返回的延迟。因此，如果你的工作高度依赖 AI，那么拥有专属的 NPU 将大大提高处理速度。
• 此外，NPU 还可以减轻 CPU 和 GPU 的负担，让它们可以空出资源来处理其他重要任务。如果你的系统搭载了 NPU，你就能将 CPU 和 GPU 留给其他需要大量硬件资源的任务。
  

四类处理器的技术特性与场景定位        
1. CPU：通用计算的“指挥中心”
        核心定位：作为计算机的“大脑中枢”，CPU负责指令调度、系统管理等核心任务，擅长处理逻辑判断、串行计算等复杂单任务，是所有设备的基础运算单元。
        架构设计：通常配备2-64个高性能核心（如Intel Xeon的28核设计），主频普遍在3-5GHz，优化了单线程执行效率；缓存层级丰富（L1/L2/L3），能快速响应临时数据需求。
        性能表现：在AI并行任务中效率较低（单精度GFLOPS通常在几十到几百），但能效均衡，适合支撑小型AI推理（如用Python脚本运行简单分类模型）。
        
        典型AI场景：经典机器学习算法（如决策树、支持向量机）的原型开发、低吞吐量推理任务（如服务器端的实时数据分类），以及AI系统的任务调度（如协调GPU与内存的数据交互）。
        局限与适配：不适合深度学习模型训练（并行算力不足），但凭借通用性，几乎所有设备（电脑、服务器、嵌入式系统）都以CPU为基础。常见型号如Intel Core系列、AMD Ryzen、ARM Cortex-A系列。
        2. GPU：并行计算的“超级工厂”  
        核心定位：最初为图形渲染设计，如今成为AI训练与并行计算的“主力”，擅长同时处理数千个简单任务（如像素计算、矩阵运算），是深度学习的“基础设施”。
        架构设计：采用“众核”架构，以NVIDIA RTX 50系列为例，基于Blackwell架构的型号配备超过20,000个CUDA核心，搭配Tensor Cores支持FP16/FP8混合精度计算，大幅提升AI训练效率。
        性能突破：RTX 50系列通过DLSS 4技术实现8倍性能跃升，单卡AI算力可达数百TFLOPS；AMD RDNA 4架构的GPU也在开源生态（如ROCm）中快速追赶，成为多平台AI训练的选择。
        
        典型AI场景：卷积神经网络（CNN）、Transformer等大模型的训练（如训练一个10亿参数的图像生成模型）、大规模数据并行处理（如处理百万级图像数据集），同时兼容TensorFlow、PyTorch等主流框架。
        局限与适配：串行任务效率低（如运行办公软件时性能浪费），功耗较高（高端型号功耗超400W），适合数据中心、AI实验室等固定电源场景。主流产品包括NVIDIA A100/H100、AMD MI300系列。
        3. TPU：云端AI的“定制引擎”
        核心定位：Google专为机器学习打造的专用芯片（ASIC），聚焦张量运算优化，是其搜索引擎、大模型训练的“幕后推手”，2025年推出的Ironwood TPU v7算力达4,614 TFLOPS。
        架构设计：深度优化TensorFlow框架，内置大量矩阵乘法单元（MXU），采用8位整数（INT8）/16位浮点数（BF16）精度，牺牲部分通用性换取AI计算效率。
能效优势：相比同级别GPU，AI任务能效比提升30-80%，在训练BERT、GPT-2等模型时，能减少数据中心的电力消耗与散热压力。
        
典型AI场景：云端大规模模型训练（如Google Gemini的迭代优化）、高吞吐量推理（如搜索引擎的实时语义分析），仅支持Google生态的AI工具链。
局限与适配：通用性极差（无法处理图形渲染、通用计算），仅通过Google Cloud开放使用，适合深度绑定Google生态的企业（如YouTube的AI推荐系统）。
        4. NPU：设备端AI的“节能专家”
        核心定位：专为边缘设备（手机、物联网设备）设计的AI处理器，聚焦低功耗场景下的实时推理，2025年旗舰手机中的NPU（如Snapdragon 8 Elite的Hexagon NPU）能效较前代提升45%。
架构设计：模仿人脑神经元连接模式，内置专用乘加单元（MAC）和高速缓存，支持INT4/FP8等低精度计算，在有限功耗下实现高效推理。
性能特点：单芯片算力通常在几十TOPS（万亿次运算/秒），但功耗仅几瓦（如手机NPU功耗约2-5W），可支撑实时任务（如100ms内完成面部特征比对）。
        
        典型AI场景：移动设备端的AI功能（iPhone的Face ID解锁、华为手机的AI摄影优化）、边缘设备推理（智能摄像头的异常行为检测、智能手表的心率异常预警）、汽车座舱的语音交互（如实时指令识别）。
局限与适配：无法承担模型训练（算力不足），仅支持推理任务，且依赖设备厂商的软件生态（如苹果Core ML、高通SNPE）。常见于消费电子，如Apple Neural Engine、Samsung Exynos NPU。
        横向对比：四类处理器的关键差异表
        
        场景化选择：如何匹配硬件与需求？
        按任务类型选择
        日常通用任务：优先CPU——无论是打开浏览器、运行办公软件，还是协调设备硬件（如控制风扇转速），CPU的串行处理能力和通用性都是最佳选择。
        AI训练/大规模并行计算：选GPU或TPU——训练千万级参数以上的模型（如ResNet、GPT），用GPU（适配多框架）或TPU（Google生态）；若需兼顾图形渲染（如游戏引擎开发），GPU是唯一选项。
        设备端实时AI：必选NPU——手机、智能手表等移动设备需在低功耗下实现实时推理（如语音助手唤醒），NPU的能效优势无可替代。
        多硬件协同案例
        现代系统中，四类硬件常“分工协作”：
        AI工作站：CPU负责任务调度（如分配数据加载、模型保存任务），GPU承担模型训练的并行计算，SSD提供高速数据读写，三者配合提升训练效率。
        智能手机：CPU管理系统资源（如调用相机硬件），NPU实时处理AI任务（如拍照时的场景识别、美颜优化），二者协同实现低延迟体验。
        自动驾驶汽车：CPU统筹车辆控制逻辑，GPU处理多摄像头的图像拼接，NPU实时识别行人/红绿灯（边缘推理），TPU（云端）定期优化识别模型，形成“端云协同”闭环。
        AI硬件的“各司其职”与未来趋势
CPU作为“通用基石”，支撑所有设备的基础运行；GPU凭借并行算力，成为AI训练与图形处理的“主力”；TPU在Google生态中深耕云端大模型训练；NPU则让AI从“云端”走向“身边”（手机、手表、汽车）。
未来，随着AI应用的深化，硬件分工将更精细——可能出现专为机器人设计的专用AI芯片，或融合NPU与GPU优势的“边缘训练芯片”。但无论如何，“匹配场景需求”始终是选择硬件的核心逻辑：通用选CPU，并行选GPU，云端大模型选TPU，设备端推理选NPU。

EDA（电子设计自动化）的本质是用数学语言解构物理世界。从量子隧穿效应的微观建模到十亿级晶体管的宏观布局，EDA的核心价值在于将半导体物理现象转化为可计算的数学模型。
在3nm以下制程中，芯片设计需同时处理电场、热场、应力场等多物理场的耦合效应。例如，电势分布、载流子浓度等32个变量构成的非线性方程组，其求解精度直接决定芯片漏电率与功耗。AMD EPYC处理器的Chiplet设计中，芯粒间互联布线方案的搜索空间高达千万亿量级。传统算法无法应对，而Cadence的Cerebrus工具通过强化学习的价值函数逼近（将复杂问题转化为概率空间中的“近似解”），将优化效率提升3个数量级。这种突破的本质是将NP难的路径问题转化为可计算的数学模型，使AMD实现芯粒间超低功耗互联。

AI驱动的EDA范式革命：从经验到物理智能  

1. 生成式AI的拓扑重构能力：  MIT团队开发的AI芯片设计工具，通过自注意力机制（类似“注意力权重分配”）自动发现逻辑冗余。例如，在RISC-V内核设计中，AI通过梯度下降不断优化拓扑结构，减少38%的逻辑门数量。这种“数学生成”能力，让AI成为芯片设计的“拓扑工程师”。
2. 物理智能的方程嵌入革命：  加州大学开发的PINN-EDA框架，将半导体物理方程（如泊松-玻尔兹曼方程）嵌入神经网络损失函数，使5nm工艺漏电流预测误差从12%降至3%。这种“物理智能”不再依赖海量数据，而是通过守恒定律构建可解释模型。  
3. 量子-经典混合计算的复杂度降维 ： IBM的量子算法将麦克斯韦方程离散为量子哈密顿量，在量子比特处理器上，射频芯片电磁干扰分析时间从6个月压缩至3小时。量子并行性将传统算法的指数级复杂度降至对数级，标志着量子计算在EDA领域的首次规模化应用。  

四、EDA未来范式：神经符号系统的数学统一  

1. 混合验证引擎的崛起：  清华大学开发的混合验证引擎，通过将形式化约束（如逻辑一致性规则）转化为神经网络的正则化项，实现RISC-V多核一致性验证覆盖率达99.7%。这种“可证明正确性”的AI设计，正在重塑芯片验证的范式。  
2. 生物分子EDA的微分几何建模：  Illumina团队通过离散微分几何算法优化DNA链弹性力学（类似“能量最小化”原理），将CRISPR编辑错误率降低2个数量级。这种生物分子级的EDA，本质是用微分流形理论重构生命体的“物理拓扑”。  

3. 跨尺度统一的热力学模型：  3D IC热噪声分析需同时考虑玻尔兹曼输运方程与量子涨落。清华大学开发的仿真引擎通过自适应多重网格法，在5nm工艺中实现热力学形变误差≤1.5%，效率较传统方法提升40%。  

《从算法到电路——数字芯片算法的电路实现》是一本深入解读基础算法及其电路设计，以打通算法研发到数字IC设计的实现屏障，以及指导芯片设计工程师从底层掌握复杂电路设计与优化方法为目标的专业技术书。任何芯片（如WiFi芯片、5G芯片、AI芯片、多媒体处理芯片等）都是由四则运算器、滤波器、特殊信号发生器等基本算法电路构成的，

        第1 ~ 2章介绍算法和芯片设计的基础知识，包括算法与芯片设计的关系，芯片设计人员掌握算法知识的必要性，以及位宽确定、有符号数处理、浮点数运算、溢出保护和四舍五入等算法的实现。

        第3 ~ 11章重点介绍各种典型基本算法的电路设计，其中包括任何数字芯片都必不可少的乘法器和除法器设计，在不同专业芯片领域有着广泛应用的数字信号发生器、复数求模、求角度运算器、普通滤波器、ΣΔADC中使用的抽取滤波器、基于ΣΔ结构实现的小数倍分频器、CRC校验器等。每个电路均给出了算法的浮点建模、定点建模、RTL以及TestBench仿真文件，并在ADC、频率和滤波器以及电路结构拓扑上进行了深入地理论解读。部分电路给出了多种可选设计，并在面积和时序等方面进行了优缺点的分析。

        第12章介绍IEEE754浮点运算单元的设计，专为满足具备标准协议格式的浮点运算核开发需求。其中涉及算法的内容较少，重点介绍协议实现、集成和应用。基于这一章设计得到的电路既可作为SoC芯片中的可编程浮点运算加速器，也可作为专用芯片的浮点运算硬核。

芯片的本质，是用物理电路实现数学逻辑与数值计算，从底层逻辑到上层功能，核心依赖布尔代数、二进制算术、信号处理、优化与概率统计四大类数学算法。

一、底层逻辑：布尔代数（芯片的 “灵魂”）
芯片的所有逻辑判断，本质都是布尔代数的物理实现。

• 核心运算：与（AND）、或（OR）、非（NOT）、异或（XOR）、与非（NAND）、或非（NOR）。
• 物理载体：晶体管组成的逻辑门（NAND 是万能基础门）。
• 设计优化：用卡诺图、奎因 - 麦克拉斯基算法化简逻辑表达式，最小化门电路数量。
• 意义：把 “开 / 关” 电流抽象为 “0/1”，让电路能做逻辑判断。
  

二、算术计算：二进制运算（芯片的 “手脚”）
所有加减乘除、移位、比较，都基于二进制算术。

• 加法：半加器、全加器（XOR+AND+OR）。
• 乘法 / 除法：加法器 + 移位器组合（如 Booth 算法、Wallace 树）。
• ALU（算术逻辑单元）：CPU/GPU 核心，集成海量加法器、乘法器、移位器。
• 浮点数：IEEE 754 标准，用科学计数法实现小数运算。
  

三、信号处理：傅里叶 / 滤波 / 矩阵（通信 / 图像 / AI 芯片）
通信、图像、AI 芯片的核心是信号与数据处理，依赖：

• 傅里叶变换（FFT）：时域 ↔ 频域转换，5G、WiFi、雷达、音频处理的基础。
• 数字滤波（FIR/IIR）：降噪、信号提取。
• 矩阵运算（GEMM）：AI / 深度学习的核心（y=wx+b → 矩阵乘法）。
• 卷积（Convolution）：图像识别、CNN 基础。
  

四、芯片设计与制造：优化、概率、物理建模
芯片从设计到制造，全程是数学求解工程。

• 布局布线（后端设计）：NP 难问题，用整数规划、模拟退火、遗传算法优化面积、时序、功耗。
• 光刻 / 制造：
  
  • 分辨率：瑞利判据（R=k₁λ/NA）。
  • 工艺建模：** 偏微分方程（PDE）** 描述扩散、刻蚀、等离子体过程。
  • 良率控制：概率统计、蒙特卡洛模拟应对量子涨落与工艺偏差。
    
• 物理验证：电磁仿真（RLCG 模型）、时序分析、功耗分析。
  

五、AI / 专用芯片：矩阵与并行（算力的 “倍增器”）
AI/GPU/TPU 本质是矩阵运算加速器。

• 核心：矩阵乘法（GEMM）、向量点积、张量运算。
• 架构：SIMD/SIMT 并行计算，把数学运算映射到海量计算单元。
• 训练 / 推理：反向传播（链式求导）、激活函数（ReLU/Sigmoid）、池化。
  

总结：芯片的数学本质层级

• 逻辑层：布尔代数 → 逻辑门 → 控制流。
• 算术层：二进制运算 → ALU → 数值计算。
• 信号 / 数据层：FFT、矩阵、卷积 → 通信 / 图像 / AI。
• 设计 / 制造层：优化、概率、PDE → 芯片从图纸到实物。
  

一句话：芯片是把数学算法 “刻” 在硅片上的物理机器。

1. 芯片本质靠哪些数学？

• 所有芯片的底层：
  布尔代数（0 和 1 的逻辑） + 二进制加减乘除
  这是电路能工作的地基。
• AI 芯片的本质：
  只专精一套专用数学：
  矩阵运算 + 向量运算 + 卷积 + 激活函数
  它就是为了超快算这些 AI 公式而生的。
  
  

2. AI 芯片 是不是用数字模型处理、得出答案？
对，完全是这个逻辑：

• 先有一个数字模型（本质就是一堆数学参数、矩阵权重）
• 你输入文字 / 图片 / 声音
• AI 芯片不思考、不理解，只做一件事：
  用模型里的数学公式疯狂计算
• 算完输出一个结果 → 就是你看到的 “回答”
  

一句话总结
普通芯片 = 通用计算器AI 芯片 = 矩阵 / 卷积专用超级计算器AI 回答 = 数字模型 + 芯片高速算出来的数学结果

所有芯片的本质数学，就两类

• 布尔代数：处理 0 和 1 的逻辑（开 / 关、是 / 否）
• 二进制算术：加减乘除
  

芯片 = 把这两种数学，做成硬件电路。
2. AI 芯片，就是专门给 AI 算数学的加速硬件
它不干别的，就玩命算：

• 矩阵乘法
• 大量加法、乘法
• 卷积（图像 / 特征计算）
  

AI 芯片 = AI 模型的专用计算器

AI 是不是用数字模型处理、得出答案？
完全正确，就是这么回事：

• 数字模型 = 一堆提前训练好的数学参数、公式、权重
• 你输入问题 → 变成数字
• AI 芯片只做数学计算
• 算出概率最高、最合理的一段话
• 翻译成文字给你 → 就是 “回答”
  

最终一句人话总结
AI 没有思想，没有理解，只有数学。
AI 芯片 = 算数学的硬件
数字模型 = 算数学的规则
你看到的回答 = 数学算出来的结果。