第2章 职涯早期:AMD、LSI和太阳微系统公司

他凭借一贯的专注,熟练掌握了名为集成电路模拟程序(SPICE)的软件应用。他通过命令行输入有序的电路元件清单,便能获取一份电压数据的纯文本表格。SPICE软件原本常被视作学术教学工具,黄仁勋却用它将电路的功能拓展到其他人认为不可能达到的程度。当LSI的客户提出新的功能需求时,多数设计师只会简单地回应:“这无法实现。”而黄仁勋则会说:“让我试试看能做些什么。”

黄仁勋会耗费数小时摆弄模拟器,尝试调整元件列表以满足客户的期望。这是一项艰巨的任务,尤其是在没有图形用户界面,甚至连彩色显示器都没有的情况下。他的专注度令人钦佩,但霍斯特曼明白,许多工程师也会同样沉浸在技术难题之中;黄仁勋的不同之处在于,他能够避开困境。“这些人有时会迷失,对吧?”霍斯特曼说道,“他们可能会陷入深深的困境中无法自拔。但黄仁勋不会,他拥有良好的判断力,当他认为问题复杂到一定程度、难以再取得进展时,他会及时转换思路。”

攻克这些棘手的技术难题后,等待他们的是更为艰巨的技术挑战。黄仁勋很享受这种难度逐渐递增的过程,他喜欢通过这种方式来实现自我提升。霍斯特曼评价道:“他有能力实现‘1+1=3’的效果,我的意思是,我们不仅仅是在为客户服务,更是在将这些订单转化为工具,进而将这些工具升华为方法论。”

第3章 从餐厅里起步的Nvidia:我们做出的每一个决定都是错误的

在计算机图形领域,乔恩·佩迪(Jon Peddie)堪称权威,他撰写的多本教科书均是该领域的重要参考。为了更深入地了解市场现状,黄仁勋主动联系了佩迪,两人迅速建立起了深厚的友谊。黄仁勋常常在深夜致电佩迪,向他请教各种问题。佩迪直言不讳地告诉黄仁勋,这个领域的竞争已趋于白热化,众多顶尖工程师都已被其他初创公司招至麾下。“我曾力劝他(黄仁勋)放弃这个项目,”佩迪回忆道,“但那或许是他从未采纳过的最佳建议。”

所以即便业界最顶级的学者和专家的话与建议也不一定绝对正确。或者,即便他们的话是对的,但也只是静态的死板“真理”。当技术与市场环境发生变化时,这些“真理”便不再奏效。此外,把话说出来是容易的,且说话者也不需要负任何责任,而做事总是相对更难的。更何况,当你开始做事的时候,便与事情本身产生了互动,对事情原本的客观实在产生了影响——这就像是量子力学中实验测量对粒子状态的影响。于是,有必要重新审视与批判最开始定下的“真理”。简言之,“talk is cheap”,且事在人为。

黄仁勋与普里姆便前往红杉资本办公室,向以直言不讳著称的创始人唐·瓦伦丁(Don Valentine)进行推介。瓦伦丁常向初创公司提出的问题是:“谁在乎呢?”推介会的进展并不顺利,黄仁勋在演示中磕磕绊绊,而普里姆则时不时插入一些与主题不相关的技术细节。

投资人的傲慢与无知。

考克斯和史蒂文斯一致认为,吸引他们注意的是黄仁勋本人,而非英伟达的提案。考克斯表示:“我们支持这些人的原因在于他们是世界级的一流计算机科学家。一般的CEO会试图听取客户的意见,但在计算机领域,这是个大忌,因为客户根本不清楚什么是可能的,他们完全不知道能做什么,甚至做到什么程度!”

第4章 英伟达遭遇绝境:我们公司离破产只有30天

英伟达的真正掌权者是谁?CTO普里姆渴望能全权决定公司的技术发展方向,而CEO黄仁勋则希望客户别再退货。

对黄仁勋而言,观众的存在至关重要。所以当他严厉训斥某名员工时,他通常会选择在公共场合进行,以便让其他人从中汲取教训。“失败必须被公开。”黄仁勋是这么说的。一旦项目延期,黄仁勋便会命令相关负责人起立,向在场的所有人详细解释每一个出错的环节。紧接着,黄仁勋会对他们的表现进行严厉甚至刻薄的分析。这种企业内部的批判会并非人人都能适应。“你很快就能看出谁能在这里坚持下去,谁不能,”迪克斯坦言,“如果有人开始变得具有防御性,你就知道那个人在英伟达待不久了。”

NV1,这款遵循行业最佳工作流程打造出来的革命性设计,竟然失败了;而NV3,这款在疯狂、即兴的赶工中诞生的产品却赢得了市场。有时候,人必须冒险。

这段经历让黄仁勋如释重负,他深刻体会到,绝望才是成功之母,灵感不是。

第5章 咸鱼翻身:完美的显卡TNT,承载着一个改变世界的惊天秘密

黄仁勋最推崇的商业书籍是哈佛商学院教授克莱顿·克里斯坦森(Clayton Christensen)的《创新者的窘境》(The Innovator’s Dilemma)。他在书中首次提出了“颠覆式创新”这一概念,用以解释现有企业如何被初创竞争对手打败。尽管“颠覆”一词因过度使用而失去了原有的意义,但其原始理论仍值得回顾。在克里斯坦森的理论中,小企业可以通过服务被市场领导者忽略的小众、边缘客户,来和大企业竞争。

克里斯坦森提出了一个颇具深意且出人意料的观点:“在某些情况下,不听从客户的意见是正确的,投资低性能产品以获取较低的利润也是合理的,甚至追求小市场而非大市场也是明智之举。”这一点在大众媒体关于“颠覆”的讨论中,往往被忽略。

克里斯坦森的建议为英伟达指明了方向,那就是销售英特尔想不到要去生产的小众产品,给英特尔永远不愿服务的客户。

黄仁勋曾多次试图接触台积电,却未能引起对方注意。在向对方发送多封语音邮件后,他给台积电的CEO张忠谋写了一封亲笔信并寄出,但根本没指望会得到回音。然而没过多久,黄仁勋就接到了电话。

要主动与业界人士建立联系。

第7章 死亡竞赛:迭代,迭代,再迭代!执行,执行,再执行!

英伟达赋予了加利克访问公司代码库的权限。而眼前所见的景象令他大为震惊。“说实话,那简直就像是癌症,”他如此形容,“你知道,癌细胞会不受控制地疯狂扩散。”在3dfx的日子里,加利克曾为自己编写出的优雅程序而深感骄傲,他开发出了条理清晰、注释详尽的系统,方便其他程序员轻松接手维护与改进他的工作成果。“我们曾不惜一切追求完美,结果却一败涂地。”他回忆道。相比之下,英伟达的工作方式显得极为草率,某些在深夜匆忙赶工中完成的代码块,竟然被用作了关键系统的基础。“真是太混乱了!代码写得一塌糊涂,开发工具链也是一团乱麻,最重要的是,他们对此毫不在意!”加利克感叹道,“他们一心只想着下一块芯片流片,其他什么都不顾。”

这种做法导致英伟达累积了大量的“技术债务”,一再采取权宜之计,长此以往,代码的可维护性日益下降,给程序员后续工作带来诸多困扰。加利克将此比作在不稳固的地基上建房。“房子一旦建起,地基就很难再修补了。”他说道。

然而,随着加利克逐渐适应了这些权宜之计,他开始领悟到英伟达方法的可取之处。“这其中透出一种诡异的智慧:不断迭代、迭代、再迭代,执行、执行、再执行,”他表示,“在我看来,技术债务就像是幸存者的战斗伤痕。”

以之为鉴,我自己在数值算法项目的开发过程中过度地追求文档的精确、美观、代码的工整、细致这些细枝末节的事情上,而以牺牲项目推进效率为代价。求解器的性能,用户的需求,王晓哲建议的仿真与设计流程的自动化闭环才是最为关键和紧迫的任务。小事情上做得再好,对于功能和架构并无益处,因为它们根本未触及和解决核心问题。要学会在混乱中快速推进、不断迭代。

当他施压于人时,目的是在迫使对方深刻吸取教训——而这样的教训,他们势必永生难忘。”

通常,求职者会选择撒谎或试图编造答案,这样做无疑是自掘坟墓。另一些人则会茫然地承认自己一无所知,这通常也意味着失败。能够通过测试的工程师,是那些意识到这不仅仅是一场工作面试,而是一场苏格拉底式对话的人。

第9章 “光速”之道:秘密开发CUDA,让游戏玩家为科学研发买单

乳腺X光扫描仪被黄仁勋称为“零亿美元市场”的首个案例,这指的是那些虽无直接收益,却拥有巨大潜力的市场。黄仁勋一直在探索一条能让英伟达与竞品区别开来的道路。他发现,硬件创新并非长久之计,因为这些都太容易被模仿了。网络上,硅片爱好者们交流着如何从零售电路板上拆下芯片、用沸腾的硫酸溶解其外壳,再用冶金显微镜扫描电路。这些爱好者的热情与芯片制造商实验室中逆向工程团队的专业“间谍”活动如出一辙。虽然被剥离的硅片在技术上享有专利权,但3dfx的经验已经证明,诉讼不过是徒劳之举。“每个人都会观察竞争对手的硬件以及它的工作原理,”迪克斯坦言,“这甚至算不上什么秘密行动,我们自己也这么做过。”

英伟达构建了软件开发者口中的“CUDA栈”。其基础为电路,往上则是控制电子流动的机器代码,再上层为将机器语言转译为人类语言的编译器,而最顶端则是面向科学家的软件。此栈将思维转化为电,再将电转化为成果。

“光速”这个词,并不像大家普遍认为的那样,只是单纯指速度快。黄仁勋所倡导的“光速”,是希望经理们能够设想到,在没有任何限制、一切条件都最理想的情况下,某项任务能够完成的最快速度。比如说,如果我们要以“光速”从纽约飞到伦敦,那就意味着天气状况绝佳、没有交通拥堵,而且乘坐的是超音速飞机。有了这个理想化的速度作为参照,经理们就可以根据实际情况,制定出一个既切实可行又能让人眼前一亮的交付时间表。舒奎斯特跟我说:“这个方法听起来好像很难,但实际上,它真的能帮你减轻不少压力。因为一旦你明白了物理上的极限在哪里,你就会知道,你的竞争对手也不可能比你更快。”

黄仁勋每天都在努力追求这个看似遥不可及的“光速”目标。“我总是要确保自己工作到筋疲力尽,这样到了晚上,就再也没有什么能让我失眠的了,”他曾经说过,“这真的是我唯一能掌控的事情。”几十年来,他一直保持着这样的工作节奏

第10章 同频共振:洞悉即将降临的机遇

他写了250篇技术论文、4本教科书,并手握120项专利,从复杂电路架构到运行电源芯片,其研究领域横跨各种计算技术。他光头、体格健壮、语速很快且才智过人。一谈起计算机,他便以严谨的学术态度娓娓道来;而聊及其他话题时,他又显得直截了当、实事求是。似乎没有他不了解的计算领域,他的生活也无时无刻不在优化,无论是技术上的成就还是个人的冒险活动。

因为不想耐着性子上历史课,戴利高中就辍学了。在做汽车修理工期间,他凭借考试成绩设法进入了大学。虽未获得高中文凭,他却拿到了弗吉尼亚理工大学的学士学位、斯坦福大学的硕士学位和加州理工学院的博士学位。30岁出头时,戴利就已经是麻省理工学院的终身教授了。

“黄仁勋的做法远胜专心致志,”霍斯特曼评价道,“我更愿称之为共鸣。”为达成这种共鸣,黄仁勋与客户和员工保持着密切的互动。在他的会议中,新闻媒体总是被安排在后排,科学家则位居前列,他的关注点也随之倾斜。“他常常与基层员工交流,并非单纯为了提振士气,而是为了能亲身感受公司的生命脉动

第12章 千载难逢的机会:周五晚上做决定,周一早上我们就转型成了AI芯片公司

多年来,CUDA矩阵乘法库的主要负责人是菲利普·范德梅尔施(Philippe Vandermersch),这位性格独特的法国人每天骑车上班。范德梅尔施曾在一个被遗弃的项目中挽救了这个库。之后,他花费数年时间,试图说服全球变暖研究人员将他们的气候模拟程序从古老的Fortran代码升级到他的现代版本,但鲜有科学家愿意投入精力。“说实话,那些实验室的人可能有点懒。”他说道。

然而,对于神经网络而言,不存在这样的转换成本。大多数代码都是由追求速度的聪明且积极的程序员首次编写的。这些人正是黄仁勋一直设想

随着时间的推移,英伟达的程序员发现了加速矩阵运算的巧妙技巧。他们很早就观察到,神经网络中的大多数权重都集中在-1到1的范围内。超出此范围的数值通常可以被截断,从而提升运算速度并缩小数据规模。同时,他们也注意到,即使在-1到1的范围内,权重也无须被精确表示。类似于大脑中的神经元,这些权重是“模糊的”,维持着松散的突触连接,而非精确无误。在某些情况下,只要权重的符号正确就足够了。

AlexNet使用了65万个神经元来模拟6300万个突触连接,在这样的规模下,单个突触的影响几乎可以忽略不计。相较于序列代码对错误的极度敏感,有时一个错误的分号就可能导致整个操作系统崩溃,神经网络对错误的容忍度要高得多。一个错误的权重只是数百万个数据点中的一个。基于这一观察,在开发cuDNN时,英伟达的程序员在精度和速度之间做出了新的权衡。他们认为,优秀的神经网络软件应更注重速度而非精度。

企业家的三种角色

首先,身为CEO及领导者,你无须扮演无所不知的全能角色。你必须坚定地相信自己所追求的目标,但这并不等同于你必须对每个细微之处都了如指掌。信心与确定性是两个截然不同的概念。在追求目标的过程中,你可以满怀信心地前进,同时开放心态,欣然接受并拥抱其中的不确定性。这种不确定性实际上为你提供了持续学习、不断成长的空间。因此,要学会从不确定性中汲取力量,视其为推动你前行的朋友而非敌人。

其次,领导者确实需要展现出坚韧不拔的一面,因为周围有许多人都在仰仗你的力量,并从你的坚定中汲取勇气。然而,坚韧并不意味着你必须时刻隐藏自己的脆弱。在需要帮助时,不妨勇敢地寻求他人的支持。我始终秉持这一理念,无数次地向他人坦诚求助。脆弱并非软弱的表现,不确定性也不是信心的缺失。在这个复杂多变的世界中,你既可以坚强自信地面对挑战,也可以诚实地接纳自己的脆弱和不确定性。

最后,作为领导者,你的决策应始终围绕使命展开,以他人的福祉和成功为考量。只有当你的决策真正有利于他人时,你才能赢得他们的信任与尊重。无论是公司内部员工、合作伙伴,还是我们服务的整个生态体系,我始终在思考如何促进他们的成功,如何保障他们的利益。在决策过程中,我总是以他人的最佳利益为出发点,以此作为我们行动的指南。我认为这些可能很有帮助。

黄仁勋表示,自己有过很多挫折与痛苦的机会;直到今天,他仍经常在英伟达内部使用痛苦和磨难这两个字,但是是以“欢乐的方式”。黄仁勋认为,性格不是靠聪明绝顶的人塑造出来的,而必须是经过磨难的人。

我希望各位有机会经历大量的痛苦和磨难。我最大的优点之一就是我的期望很低。对自己期望非常高的人,往往韧性也低,不幸的是,韧性对带来成功至关重要。所以如果我可以给你建议的话,我希望各位有机会经历大量的痛苦和磨难。

如果你追求的是伟大,你就要完善、培养公司的企业性格。

第13章 由机器引领的时代:从月球发射激光,精准击中街道上的一枚硬币

但随着英伟达进军人工智能领域,黄仁勋舍弃了所有爱好。他不再热衷于恶作剧,停止了乒乓球练习,对铁板烧也失去了兴趣。他甚至都不再回短信了。

“他对工作非常非常专注,”霍斯特曼说,“这就是他唯一能谈论的事情。”

从黄仁勋20岁开启职业生涯时,他就坚持不懈地工作,连续30年每天工作12小时,每周6天。

研发过程是从最基础的原子层面开始的。台积电当时提供了一种名为鳍式场效应晶体管(FinFET)的制造技术,其中的晶体管就像鲨鱼鳍一样从硅基底上凸起。如果你能缩小到站在硅的光滑表面上,那些鳍状的晶体管会看起来像板式公寓楼一样,在每个方向上高耸200个原子。这些晶体结构与其说是“印刷”出来的,不如说是用紫外线光以极高的精度雕刻而成,这种精度足以让文艺复兴时期的大师们叹为观止。工程师们形容这一制造过程,就好比从月球表面发射激光,要精确击中阿肯色州人行道上的一枚硬币一样。

第16章 全球最具价值的半导体企业:我们其实是一家软件公司

业界时有质疑,英伟达的市场地位究竟能否长久维持。AMD与英特尔均推出了CUDA的开源替代品,旨在帮助客户摆脱对英伟达硬件的层层依赖,从而有望节省数十亿美元的成本。然而,这些AMD或英特尔的产品却鲜有AI研究人员问津。这究竟是何缘故?

我曾向多人询问,得到的答案五花八门。其中,一个常见的误区在于,人们认为从技术层面来讲,转用CUDA以外的其他技术存在难度。但事实上,这并不难——有时,开发者仅需对几行代码进行微调即可。另一个误区则是,企业硬件采购者往往采取保守策略。(“从来没有人因为采购了英伟达而被炒鱿鱼。”汉斯·莫斯曼说道。这让我想起一句关于IBM的老话。)然而,当我真正与某位硬件采购者深入交流时,他却告诉我,自己经常尝试竞品,并期盼着有朝一日能出现价格更为亲民的等效产品。“这些东西真是贵得离谱。”他说的是英伟达的计算堆栈。

英伟达之所以成功,并非因为它的电路更出众,而是因为它的软件更优秀。现如今,性能的提升中仅有一小部分来源于经典策略——在芯片中塞入更多的晶体管,毕竟摩尔定律已不再适用。而其余的性能提升,则归功于比尔·戴利、伊恩·巴克以及其他英伟达的科学家们,他们通过精妙的数值计算加速了矩阵乘法。英伟达的工程师们为GPU赋予了新的指令,这些指令犹如解开魔方的诀窍。他们采用简单却高效的数据类型取代了处理器的原生语言,这好比是从书法转变为了速记。此外,他们还从矩阵中剔除了“无效”的突触,这本质上是在神经网络中清除无用信息,类似于电影《暖暖内含光》(Eternal Sunshine of the Spotless Mind)中的记忆抹除机器。2012—2022年,英伟达在单芯片AI推理性能上实现了惊人的千倍加速,这一成就远超摩尔定律以往的任何突破。其中,仅有2.5倍的加速来源于晶体管的增加,而高达400倍的加速则归功于英伟达的数学工具集。

黄仁勋并非纯粹的利他主义者。他的长远策略是通过这些免费软件,将研究人员牢牢绑定在英伟达的硬件升级周期中。

正是这些代码,使其他公司难以与英伟达抗衡。新兴公司或许能设计出新型芯片,但这还远远不够。

在有了硬件作为基础设施后,后续的增长与用户粘性都基于软件。

英伟达的软件产品并不总是外观精美或易于上手,有些工具包的界面甚至已经过时了10年。但迪克斯对此毫不在意,他只关心如何保持行业领先地位。每当出现新的科学技术时,他总是第一时间出现,并推出他那些虽然丑陋却极为实用的软件工具。某个竞争者或许会在未来推出成本更低、设计更优雅的产品,但届时已然太迟——行业标准早已尘埃落定。

功能上的领先远胜过外部的包装与修饰。

第19章 更多电力更大算力:如果英伟达表现不佳,整个科技界都会萎靡不振

一次标准的谷歌搜索大约需要0.3瓦时的电量。而启用生成式AI后,同样的谷歌搜索所需电量是原来的10倍,这足以为一个灯泡供电约20分钟。若让GPT为你撰写一篇5000字的论文,所耗电量则足以驱动微波炉运行1小时。

第20章 地球上最重要的股票:基于愿景的运气和超乎常人的智慧

己变成了这样一个人。”但说到底,还是张忠谋的看法最具分量。他并不认为黄仁勋之所以能成功,是因为他的工作伦理——在台积电,这只能算是略高于平均水平,他也没发现黄仁勋有什么特别的适应能力。我与张忠谋交谈时,他已是92岁高龄,身穿一件紫色绞花毛衣,坐在一幅醒目的抽象艺术作品前,面容安详,一头银发。在长达70年的公司生涯里,他的足迹遍布两大洲,其间他接触到了形形色色的高管。在他看来,一切的成功都并非难以捉摸,而是有迹可循的:​“他们的智慧确实超乎常人。​”

第21章 向理性本身发起挑战:我得保留点儿秘密

黄仁勋常常自相矛盾,甚至在同场采访中抛出截然相反的观点。他并非在扮演魔鬼代言人——他只是乐于从两面夹击观点。​“他无意成为政客,​”霍斯特曼坦言,​“也不追求信息传达的一致性。他更愿处理即时输入,并乐意暂时接纳矛盾的想法。​”那些看似明确的声明,往往只是他思考时脱口而出的话。

一致性并非他的性格标签:那些看似深思熟虑的见解,乃至精炼的格言,实际上可能只是他即兴发挥,未必认真,过后也可能忘得一干二净。

Just take it for granted.

凌晨4点,黄仁勋便已起身投入工作。他总是从自己最看重的长期项目开启新一天,坚信只要着手这个项目,无论当天遭遇何种变故,这一天都算不上失败。

重要且不紧急的事虽然不容易被我们完全忽视,但也容易被赋予较低的优先级,从而一再拖延。同时一般人也难以做到持之以恒地在这些方面全力投入。因此,于每天清晨将长期项目作为我们处理的第一个任务是非常有道理的。这能够帮助我们平复内心的浮躁、聚焦终极目标、收敛求多求快的功利心态。

第22章 深不见底的恐惧:AI会是人类的终结者吗?

他推测,在核战争中或许还会有人幸存,但若人工智能决定毁灭人类,它便能设计出致命的病原体,让地球上的每一个人都无处可逃。​“我觉得在危险性方面,没有什么能与之相提并论。​”他说。

渲染人工智能对整个人类造成的危胁与鼓吹人工智能给我们当下的工作带来的种种便利与冲击这两者从正面与反面都增加了该话题的戏剧性。这无疑对于商业炒作是有利的,但事实究竟为何可能被刻意地掩盖了。对此,我们每个人都要保持清醒的头脑,以批判的眼光来看待各种观点。

第23章 思考机器:唯有黄仁勋这位“代达罗斯”,才能真正洞悉这全貌

黄仁勋之所以能在并行计算、人工智能、Omniverse等他人失败的领域取得成功,源于他不容忍对未来进行毫无根据的臆测。他总能冷静地从第一性原理出发去审视技术,既不受乐观情绪影响,也不被恐惧所左右,仅凭一种冷静且耐心的商业逻辑,将企业远见推至极限。对除此之外的一切,他既不看也不去想象。人类灭绝的可能性并不属于企业战略层面的问题,对他来说,这纯属无稽之谈。

而在这之后,我们最终会迎来所谓的“思考”阶段,也就是所谓的测试时间计算。有些事情你一眼就能看出答案,而有些则需要我们将其拆解成多个步骤,并从第一性原理出发,逐一寻找解决方案。这可能需要我们进行多次迭代,模拟各种可能的结果,因为并非所有答案都是可预测的。因此,我们称之为思考,且思考的时间越长,答案的质量往往越高。而大量的计算资源将助力我们产出更高质量的答案。

我们必须达到这样一个境界,即所得到的答案在很大程度上是值得信赖的。我认为,这还需要数年的时间才能实现。

这个“很大程度”仍就不是百分之百。而在数学领域,这种概率极低的不确定性是不能被接受的。

后记 一切都将焕然一新

英伟达一直对规模庞大且利润丰厚的市场视而不见,反而专注于规模较小、处于边缘地带的市场。这并非一条显而易见的成功之道,但沿着这条鲜有人涉足的道路前行,英伟达所遭遇的竞争极少——而且只要有耐心,这些小客户也能发展壮大。一旦出现这种情况,英伟达便能独享其成。

黄仁勋的成功是其勇气与世界级工程专业知识的完美结合。渴望复制黄仁勋成功之路的企业家们,务必要遵循他的成功蓝图:首要之务是(持续)掌握所在领域顶尖的专业知识。这是一个终身的过程,既需要前期的教育投入,也离不开持续学习的热忱。一旦成为这样的终身学习者,就要勇于尝试,敢于冒险,推动所在领域向前发展。