EP172. 黃仁勳的五層蛋糕理論(上):一座 AI 工廠從零到一怎麼蓋起來?AI 的天花板又卡在哪裡? feat. 資深科技商務顧問 Alex Cheng
這集在講什麼
這集在回答一個很具體的問題:一座 AI Factory 不是「買幾台 GPU」就能成立,而是要先把 power、chip、infra 三層從土地、電力、廠房一路接到機櫃、散熱、網路與軟體,才有辦法真正產出 token。Alex 用他在第一線看過的案例把這件事講得很直接:一台 GB300 NBL72 機櫃重到接近 2 噸、單一 data center 可能要拉出 5 萬條網路線,連 50GW 的全球缺電都變成產業瓶頸。聽完你會帶走一個重新看 AI 的框架:模型不是憑空長出來的,真正決定 AI 能不能起飛的,是臺灣最擅長但常被低估的那條供應鏈底盤。
來賓:Alex Cheng:資深科技商務顧問,早年做了 13 年新創軟體,後來在 AWS 做雲端業務,再轉進 NVIDIA Cloud/NCP 相關現場,實際參與 AI Factory、算力銷售與供應鏈協作;他在這集最核心的主張是:「AI Factory 的產出不是智慧,而是算力跟 token,底層先把 power、chip、infra 搞定,應用才會真的跑起來。」
本集亮點
06:32Alex 把供應鏈的 level 1 到 level 12 拉成一個現場語言:從機櫃做到 level 10、裸機到 level 11、最後把暗場連線到 operate 起來才算 level 12;這段很值得聽,因為它直接把「硬體不是寫 code 明天就能上」的差異講透。
11:57黃仁勳在 San Jose 特別辦臺灣 night,還直接講出『it takes one Taiwanese to make the Taiwan market stock high』這種自帶台味的句子;值得聽的點是,這不只是公關場面,而是他把臺灣供應鏈的價值公開抬上檯面。
19:17五層蛋糕最底下的 power、再到 chip、infra、model、application 被完整拆開:電不夠 AI Factory 根本跑不起來,而 chip、infra 就是臺灣最強的地方;這段是整集的骨架,聽完會知道每一層到底在解什麼問題。
30:00一座 AI Factory 的施工不是『接幾條線』而已,而是 144 個機櫃、五六萬條網路線要被整理到未來還找得到;Alex 甚至用『這是一門藝術』來形容。這個案例很反直覺,也最能說明為什麼 infra 不是外行人想像的那麼簡單。
31:37GB300 的 NBL72 機櫃大約 2 噸重,一平方米承重得超過 2 噸,遠超過一般國小教室約 500 公斤的標準;這一段很有錨點感,因為它讓『AI 需要廠房』不再只是抽象口號,而是直接變成結構工程問題。
1:27:33NVIDIA 甚至把 16 個櫃子定義成一個 super pod,靠 Infinity Band 把它們串起來;Alex 用這個例子說明為什麼供應商會指定整套 reference design,因為它不是『能跑』而已,而是『跑得最有效率』。
章節
同節目其他集 看全部 ›
完整逐字稿(可點句跳播)、一集白板、AI 問答與一鍵摘錄,在聽摘裡看 👇
聽摘