文 | 董辅导聊科技,作者 | 董辅导
英伟达最近动作不少。先是11月上旬,向咱们国内出口了特(yan)供(ge)版的H20芯片,接着一周后就又发布了面向海外的H200芯片。
看得出,这次芯片命名,老黄仍是花了点心思的。特供和美版,肉眼可见的十倍距离,应该会令想制裁我国的登哥十分满意。
H200的确很强,H20听说也很受欢迎,那么,国内GPU就真的不行吗?距离到底在哪里?
众所周知的一个距离是在“算力”方面,也便是单位时刻能处理的信息。这个距离的补偿主要靠“规划和制作”。芯片制作只能步步追逐,需求设备、资料、工艺等等的归纳进步;而规划方面,需求靠堆集,但也现已没那么差了。
比方从算力视点来看,国产一款910的产品和H20比照的话,半精度算力还比H20高呢。那差在哪里?
在显性算力的背面,隐性的距离,其实是在“网络”和“存储”,或许一致而言是“带宽”。
假如以厨师煮饭来做比方的话,高算力就相当于手工精深的大厨,能做好菜、能高效做好菜;但做菜还需求运送,比方把菜从商场买回来、以及,把菜洗好传给大厨。假如买菜很慢、或许传菜很慢,那么大厨再牛也难为无米之炊。
网络和存储,便是买菜和传菜;它们便是其时约束我国算力大厨的隐性关卡。为什么会这样?又该怎么破解呢?
特斯拉有一个超算中心Dojo,作为其智能驾驭的火力支撑。但是,特斯拉FSD V12版别的练习,却并不是依托Dojo,而仍然是英伟达。
马斯克对此称,“现在遇到的最大技能困难,是需求像InfiniBand那样的高速网络衔接来并行更大的算力。”
说到网络衔接,就得先从美国施乐说起,也便是养活了微柔和苹果的那位大哥。在核算机初期,网络衔接有各种规范,不简单相互通讯。后来,施乐在公司内部使用了一种衔接规范,便是以太网的雏形。1982年发布了以太网规范。
以太网规范下,服务器之间的交互流程是应用程序的数据,先到中心内存,再送到网卡,然后经过网卡,送到另一台服务器上。一切的信息对接,都要经过内存转化,增加了CPU的担负,也增加了传输的时延。
这就比方咱们打车。乘客打电话给出租车公司,公司再打电话给司机;司机到了之后,也不联络乘客,而是打电话给公司,公司再打电话给乘客。优点是牢靠、便于管理。但缺陷也很显着,流程太长了,信息来回传递也不便利。
业务量少的时分,没有问题。但一旦数据量太多、需求许多,那么,功率就会有扣头。这关于AI而言,就十分显着了。
大模型便是经过很多数据的很多核算,然后发生了出现。数据传输快一点,才能也就会更强一点。假如数据都传得很慢,怎么或许很多核算呢。
所以,InfiniBand锋芒毕露。
1999年,InfiniBand交易协会建立,意图便是为了“干掉”传统以太网。方针很大,敌人也很强壮,抵挡很困难。以至于2002年的时分,英特尔就从这个协会里退出了,随后微软也退出了。
但建立于1999年的Mellanox还在坚持,2001年还推出了首款产品。InfiniBand的特点是,数据,不经过中心内存而是直接经过网卡衔接。