机器之心 完结

分类：美剧 地区：美国 年份：2013

主演：卡尔·厄本  迈克尔·伊雷  莉莉·泰勒  麦肯锡·克鲁克  迈克尔·埃尔比  乔·史密斯  敏卡·凯利  Kr..   

导演：Sam  Hill   

更新：2024-05-15 10:19

简介： 　　从Medium中选择 　　作者：Adi Fuchs 　　机器心编译 　　在上一篇文章中，原苹果.. 　　从Medium中选择 　　作者：Adi Fuchs 　　机器心编译 　　在上一篇文章中，原苹果工程师、普林斯顿大学博士Adi Fuchs将重点放在AI加速器的秘密基础上：指令集架构ISA、可重构处理器等。在这篇文章中，我们根据作者的想法，回顾AI硬件公司，看看哪个公司在这个领域投入了力量。 　　本系列的第四个章节主要介绍AI加速器相关公司。世界科学技术界最受欢迎的领域之一是AI硬件，本文回顾AI硬件行业的现状，概述了关联公司在寻找解决AI硬件加速问题的最佳方法时所进行的不同赌注。 　　对于很多AI硬件公司来说，这几年好像是AI硬件发展的黄金时代。过去3年，英豪们的股价猛涨了约+500%，超过了Intel成为了世界上市场价值最高的芯片公司。其他的风险企业似乎也同样受欢迎，近几年来，他们花了几十亿美元援助AI硬件的风险企业，挑战了英豪们的AI领导能力。 　　 　　AI硬件风险企业-2021年4月的总融资。来源：AnandTech 　　还有一个有趣的收购故事。2016年，英特尔以3.5亿美元收购了Nervana，并于2019年底收购了Habana这家人工智能风险企业，取代了Nervana提供的解决方案。有趣的是，Intel支付了20亿美元的收购Habana的巨额资金。比Nervana的收购多几倍。 　　AI芯片领域，或者更准确地说，AI加速器领域（至今为止不仅仅是芯片）包含着无数的解决方案和方法，让我们回顾一下这些方法的主要原则吧。 　　AI加速器的不同实现方法 　　英伟们：GPU+CUDA 　　如果你在耕地的话，你想用哪个。是两头牛还是1024只鸡。（西摩・克里） 　　英伟们成立于1993年，是最早研究计算加速的大企业之一。英伟们是GPU行业的先驱，后来为游戏机、工作站、笔记本电脑等提供各种GPU产品线，已经成为世界的领导者。正如前面的论文所讨论的那样，GPU使用了数千个简单的内核。CPU使用相对较少的内核。 　　当初GPU主要用于图形，2000年代后期被广泛用于分子动力学、天气预报、物理模拟等科学应用。由于引入了新应用、CUDA、OpenCL等软件框架，为将新领域移植到GPU开辟了道路，GPU逐渐成为通用GPU（General Purpose GPU），并被简称为GPGPU。 　　 　　ImageNet挑战：使用GPU的优胜误差和百分比。图源：英伟们 　　从历史上看，人们可能会说英豪们很幸运。因为CUDA流行成熟的时候，现代AI开始了。也许有人主张，只有GPU和CUDA的成熟和普及，研究人员才能容易且有效地开发AI应用。不管怎么说，历史都是由胜利者写的。实际上，最有影响力的AI研究，例如AlexNet、ResNet、Transformer在GPU中被实现和评价，但是，AI寒武纪爆发的时候，英伟们是领先的。 　　 　　SIMT运行模型。图源：英伟们 　　GPU遵循单命令多线程（SIMT）的编程模型，其中相同命令在不同的内核/线程上同时执行，并且每个命令根据分配的线程ID来执行数据部分。所有内核都以帧同步的方式执行线程，大大简化控制流。另一方面，SIMT概念上是多线程类c的编程模型，被AI再利用，但不是为了AI而设计的。因为神经网络应用程序和硬件处理可以作为计算图来记述，所以如果有掌握图的意思的编程框架的话，会变得更自然更高效。 　　从CPU到GPU架构的转移是向正确方向的一大步，但这还不够。GPU仍然是传统架构，采用与CPU相同的计算模型。CPU受其架构限制，正在科学应用等领域被GPU取代。因此，希望通过共同设计专门针对AI的计算模型和硬件，在AI应用市场中占有一席之地。 　　 　　英伟们的GPU、CPU和DPU路线图。图源：英伟们 　　英伟们主要从两个角度发展AI：（i）引进Tensor Core；（ii）通过收购公司。例如以数十亿美元收购Mellanox，控制着ARM的收购。 　　ARM-NVIDIA作为美国海军少将、以计算机编程先驱Grace Hopper的名字命名的数据中心CPU，首次合作。作为高级专用处理器，Grace主要面向大型数据密集型HPC和AI应用。下一代自然语言处理模式的训练有超过1兆的参数。基于Grace的系统与NVIDIA GPU紧密结合，性能比当前最先进的NVIDIA DGX系统（x86 CPU操作）高10倍。 　　Grace得到NVIDIA HPC软件开发套件和CUDA和CUDA-X库的全套支持，可以加速2000以上的GPU应用程序。 　　Cerebras 　　Cerebrars成立于2016年。随着AI模型越来越复杂，训练需要更多的内存、通信和计算能力。因此，Cerebrars设计了一种晶片级引擎（WSE），它是比萨盒大小的芯片。 　　 　　Andrew Feldman。来源：IEEE spectrum 　　典型的处理芯片制造在称为晶片的硅片上。作为制造过程的一部分，晶片被分解成被称为芯片的小块，这是我们所说的处理器芯片。一个典型的晶片可以容纳数百到数千个这样的芯片，每个芯片的大小通常在10平方毫米到830平方毫米左右。NVIDIA的A100GPU被认为是最大的芯片，其尺寸为826平方毫米，可以封装542亿个晶体管，并为大约7000个处理核提供动力。 　　 　　Celebras WSE-2与NVIDIA 100的规格比较。图片注：BusinessWire 　　Cerebras不仅提供了一个单一的大芯片上的超级计算机功能，还通过与学术机构和美国国家实验室的合作，提供软件栈和编译工具链。该软件框架基于LAIR（Linear-Algebra Intermediate Represensentation）和c++扩展库，初级程序员可以用来描述内核（类似于NVIDIA的CUDA）也可以用于无缝地减少来自诸如PyTorch和TensorFolow等框架的高级Python码。 　　总之，Cerebrars的非传统方法吸引了很多行业相关人员。但是，更大的芯片意味着核心和处理器很有可能因缺陷而失败，需要一个一个地解决制造缺陷，如何控制近百万个核心，如何同步，如何编程等等在一些方面，Cerebrars引起了很多人的注意。 　　GraphCore 　　GraphiCore是首次发售被称为IPU（Intelligent Processing Unit）的商业AI加速器的风险企业之一。与微软、戴尔、其他商业和学术机构进行了很多合作。 　　目前，GraphiCore正在开发基于名为Poplar的内部软件堆栈的第二代IPU。Poplar可以将基于Pythorch、Tensorflow或ONX的模型转换为命令式、C++兼容代码，支持公司提倡的顶点编程。与NVIDIA的CUDA一样，Poplar支持低水平C++编程，实现更好的潜在性能。 　　 　　第二代IPU芯片图。图形源GraphiCore 　　IPU由tiled多核心设计构成，tiled架构是2000年代初由MIT开发的。该设计描述了应用结构的2D网格，每个网格结合了网络开关、小型本地存储器和处理核。第一代IPU是1216 tile，第二代IPU是1472 tile。每个IPU内核最多可以执行6个线程。这些线程是包含自己的命令集架构（ISA）的代码流。 　　IPU采用大规模并联结构的公用核心架构。其最基本的硬件处理单元是IPU-Cole，是SMT多线程处理器，不是GPU的SIMD/SIMT架构，能够同时运行6个线程，接近多线程CPU。IPU-TEles由IPU-Core和本地存储器（256KB SRAM）构成，有1216个。因此，一个IPU芯片具有约300MB的芯片上存储器，并且不具有外部DRAM接口。连接IPU-Teales的互连机制被称为IPU-Exchange，并且可以实现具有约8TB带宽的无块all-to-all通信。最后，IPU-Links实现多芯片相互连接，PCIe实现与主机CPU的连接。 　　可重构的数据流 　　Wave Computing、SambaNova、SimpleMachines是三家上市的加速器芯片的风险企业。其中Wave Computing成立于2008年，以“通过可扩展的实时AI解决方案，从边缘深入学习数据中心的革新”为使命，该公司由Dado Banatao和Pete Fooley成立。这是一个隐藏的模式，从各种来源获得资金。 　　Wave Computing的核心产品是数据流处理器单元（DPU），并且可以使用非听筒架构的软件来动态重构处理器CGRA（Coarse grain reconfigurable/accelerator）技术，并且适用于大型异步并行计算问题。2019年前后，Wave Computing针对边缘计算市场的计算力需求，结合MIPS技术和Wave旗下的WaveFlow和WaveTensor技术，发售了TritonAI64IP平台。但是遗憾的是，2020年申请了破产保护。 　　 　　基于时间的DPU核心映射。来源：Wave Computing 　　SambaNova成立于2017年底，此后，该公司获得了3次贷款和美国能源部Laurence Livermore，Los Alamos的配置，这将导致谷歌Ventures，Intel Capital，Blackrock领导。他们现在可以给几个客人提供新产品。 　　 　　SambaNova的RDU框图。 　　SambaNova为数据中心建立了芯片和软件堆栈，目标是通过AI进行推理和训练。该架构的核心是可重构数据流单元（RDU，reconfigurable dataflowunit）。RDU芯片由2D网状结构构成，包括连接到NoC开关的计算单元（称为PCU）和临时存储单元（称为PMU）的集合。RDU通过一组称为AGU和CU的单元结构访问芯片外存储器。 　　 　　SambaNova的重要使用示例。来源：HPC微re 　　SambaNova的软件堆栈（称为Sambaflow）采用诸如PyTorch、TensorFolow等高级Python应用程序，并在编译时降低到可编程芯片PCU、PMU、AGU、CU的表示。SambaNova示出了RDU架构可以执行复杂的NLP模型、推荐模型和高分辨率视觉模型。 　　SimpleMachines是威斯康星州大学的学术研究者们于2017年设立的。该研究小组探索了一种可重构的架构，该架构依赖于将听筒诺曼（逐条命令）和非听筒诺曼（即数据流）组合起来执行的不同机种数据路径。 　　该公司提供的数据参考了顶级学术会议和定期刊物上发表的原创研究论文。指导体系结构的原则与SambaNova的做法相似。也就是说，为了支持非常规则的编程模型，实现与高度变化的AI应用空间相对应的灵活执行，开发可重构的架构。 　　 　　SimpleMachines的Mozart芯片。来源：SimpleMachines 　　该公司的第一个AI芯片是优化推论的Mozart，设计采用16nm工艺，HBM2高带宽存储器，PCIe Gen 3x16尺寸。2020年，SimpleMachine公布了第一代基于Mozart芯片的加速器，该第一代加速器由可配置的tile阵列组成，该tile阵列依赖于控制、计算、数据收集等专业化。 　　脉动阵列+VLIW：TPUv1、Groq、Habana 　　TPU 　　世界上第一个面向AI定制的处理器之一是张量处理单元（TPU），也称张量处理器，是Google开发的专用集成电路（ASIC），用于加速机器学习。从2015年开始，谷歌已经在内部开始使用TPU，2018年向第三方提供TPU，将部分TPU作为云基础设施的一部分，并将部分小型版TPU用于销售。 　　 　　第一代TPU架构。来源：arXiv 　　第一代TPU是8位矩阵乘法的引擎，使用复杂的指令集，主机经由PCIe 3.0总线驱动，并以28nm工艺制造。TPU指令向主机发送和接收数据，执行矩阵乘法和卷计算，应用激活函数。 　　第二代TPU于2017年5月发表。值得注意的是，第一代TPU只能进行整数运算，而第二代TPU还可以进行浮点运算。因此，第二代TPU对机械学习模式的训练和推理非常有用。谷歌表示，这些第二代TPU可以在Google计算引擎中用于TensorFolow应用程序。 　　第三代TPU于2018年5月8日发布，谷歌宣布第三代TPU的性能是第二代的2倍，芯片数量将配备在前一代的4倍Pod上。 　　第4代TPU于2021年5月19日发表。谷歌公布了第四代TPU的性能是第三代的2.7倍，芯片数量是前一代的2倍。由此，与导入的第3代TPU相比，每Pod的性能提高了5.4倍（各Pod上最大搭载了4096芯片）。 　　Groq 　　Google以云产品提供TPU，以满足谷歌的AI需求，服务自己的内部工作路线为目标。因此，谷歌针对特定的需求定制了TPU。 　　2016年，TPU架构团队离开谷歌，设计了具有与TPU相似基线特征的新处理器，并在Groq这一新创业公司商业化。 　　 　　GroqTSP执行框图。来源：Groq 　　Groq的核心是张量流处理器（TSP）。TSP架构和TPU有很多共同点。两种架构都很大程度上依赖于脉冲阵列完成了复杂的工作。与第一代TPU相比，TSP增加了向量单位和置换单位（在第二代和第三代TPU中也发现）。 　　 　　Groq VLIW命令集和说明。来源：Groq 　　Habana 　　Habana成立于2016年初，是一家专注于数据中心训练和推理的AI加速器公司。Habana已经发售了云之AI训练芯片Gaudi和云之AI推理芯片Goya。 　　Goya处理器已被商业化，在具有竞争力的包络电力方面，实现了超大吞吐量和超低实时延迟，表现出优秀的推理性能。Gaudi处理器的目的是实现系统高效、灵活的横向、纵向扩展。现在，Habana向特定的大规模顾客提供样品。 　　 　　 　　Goya、Gaudi架构图。图注：Habana 　　Goya和Gaudi芯片是脉冲矩阵乘法单元，并且具有依赖于与tile集合一起工作的GEMM引擎的类似架构。每个tile包括本地软件控制的临时存储器和能够计算8位、16位或32位的向量化操作的不同精度的向量计算单元（TPC）。TPC和GEMM引擎经由DMA和共享存储器空间进行通信，并经由PCIe与主机处理器进行通信。 　　基于RISC的AI加速器 　　Esperanto 　　Esperanto成立于2014年，是一个相当长的隐形模式，并在2020年年底前推出了他们的第一个产品ET-SsoC-1芯片。基于台积电7nm工艺构建的SoC集成了1000多个RISC-V核、160M BYTE的SRAM、240亿以上的晶体管，是该公司AI加速器系列的第一个产品。ET-SoC-1是推理加速器，预计今年开始生产。 　　 　　Esperanto的ET-SMC-1的架构图。来源：Esperanto/HotChips 　　TensTorrent 　　TensTorrent成立于2016年，总部设在加拿大多伦多，目前拥有10亿美元的估计值。这是一家计算公司，正在开发一种处理器来更快地适应未来的算法。TensTorrent提供的芯片系列不仅支持数据中心，还支持小型平台。另外，还提供DevCloud。 　　 　　TensTorrent：图的并行性和张量切片。来源：YouTube 　　 　　TensTorrent核心。来源：YouTube 　　Mythic 　　Mythic是AI硬件领域最早的风险企业之一，成立于2012年。迈克・亨利（Mike Henky）和戴维·太平洋（Dave Fick）是公司的核心创始人，与Mythic公司的会长担任CTO。该公司重视能源效率和低成本的模拟技术，Mythic提出了在模拟电路中使用较小的非数字电路电流来降低能源消耗的方法。 　　 　　矩阵乘法中的权重与输入输出数据的差。来源：Mythic 　　2020年末，Mythic发售了第一代AI芯片M108 AMP。与许多AI芯片不同，M108不是基于数字计算，而是基于更成熟的模拟计算技术。这样一来，M1108的功率效率会提高，对网络边缘设备的访问也会变得容易。 　　Mythic还发售了使用闪存而不是DRAM来存储权重的模拟计算引擎（ACE、Analog Computee Engine）。本质上，不是从存储器获得输入和加权数据，而是将输入数据转发到加权闪存，转换成模拟域，在模拟域中执行MAC计算为了避免从存储器读取和传送权重成本，转换成获取输出数据。 　　LightMatter 　　LightMatter是在MIT出生的风险企业，致力于用光子而不是电子进行运算的计算机芯片。这个芯片和以前的计算机芯片有着根本区别，期待成为满足AI“饥饿”的有力对手。LightMatter的尼克·哈里斯首席执行官（Nick Harris）曾经说过：“我们发明的新电脑会继续，还是人工智能会降低速度？”。 　　 　　光子学和电子学的计算属性。来源：HotChips/LightMatter 　　LightMatter设计了一种基于脉冲阵列的方法，该方法使用编码为光信号波中不同相移的相位偏移来操作光子输入信号，并进行乘法和累积操作。由于光子数据以光速流动，LightMatter芯片非常快速地执行矩阵和矢量化运算，可以降低几个数量级的功率。 　　LightMatter从2021年开始发售基于光子的AI芯片Envise，向以往的数据中心提供包含16个芯片的刀尖服务器。该公司目前正从GV（原Google Ventures）、Spark Capital、Matrix合作伙伴处筹集2200万美元。 　　根据LightMatter，他们发售的Envise芯片的运行速度比最先进的Nvidia A 100AI芯片快1.5~10倍，具体根据任务不同而不同。以BERT自然语言模型的执行为例，Envise的速度是英伟达芯片的5倍，只消耗其六分之一的功率。 　　 　　Envise。来源：Light Matter 　　NeuReality 　　NeuReality是于2019年在以色列设立的风险企业，由Tanach、Tzvika Shmuueli、Yossi Kasus共同设立。 　　2021年2月，NeuReality发售了NR1-P。这是以AI为中心的推理平台。2021年11月，NeuReality宣布将与IBM建立合作关系。包括允许IBM的低精度AI内核来构建NR 1。这是非原型生产级别的服务器，与FPGA原型相比，AI应用的效率更高。 　　 　　NeuReality NR1-P原型。源文件：ZDNet 　　文本链接：https://medium.com/@adi.fu7/ai-accelerators-part-iv-the-very-rich-landscape-17481be80917 详情