聽摘聽摘

EP173. 黃仁勳的五層蛋糕理論(下):99% 的算力被誰買走了?模型為什麼不是主角? feat. 資深科技商務顧問 Alex Cheng

VK科技閱讀時間 · 65 分鐘 · AI 重點整理 by 聽摘

這集在講什麼

這集在拆解「誰真的在買 AI 算力」:不是只有模型公司,而是雲端服務商、Mega account、企業客戶到新創,層層往下接,甚至一個大型客戶就能吃掉 99% 的算力。最重要的立場是,模型不是主角,真正主導 AI 落地的是前線掌握資料、知識與 workflow 的人,所以 OpenAI、NVIDIA 甚至 SAP 都在往更接近客戶的一端下沉。聽完你會帶走一個很實際的框架:從萬卡叢集、2,000 卡推論,到 ERP 變 agent、digital twin 與基因檢測,AI 的競爭已經不是「誰模型最強」,而是「誰最懂場景、最能把 solution 做進工作流程」。

來賓:來賓是資深科技商務顧問 Alex Cheng;他長期接觸 AI Data Center、NVIDIA Cloud Partner、雲端與企業客戶,熟悉算力採購、供應鏈與企業 AI 導入。他在這集最核心的主張是:「model 其實不是主角,model 只是這所有 selection 裡面的其中一個。」

本集亮點

08:50Mega account 大約吃掉 99% 的算力需求,因為他們動輒要的是「萬卡叢集」,一次就能把 1 萬張 GPU 全包走;這句話直接點破 AI 基礎設施的真實需求結構。

17:13NVIDIA 若能透過 NCP 掌握雲端 operation,就能少被 AWS、Azure 這些老牌雲端業者卡在中間,直接接近終端客戶的需求;這是 NCP 存在的策略核心。

23:08OpenAI 之所以想做自己的硬體,是因為真正掌握需求的人在前線,不在模型公司手上;他提到若市面上沒有能跑某個 100 億美金訂單的機器,那就可能逼得模型公司自己下場 tune 硬體。

45:21digital twin 可以先把 data center 的熱對流、風牆、水冷、甚至「冷水管爆掉」這種事故都模擬一遍,理想上可把原本 6 到 9 個月的前期 design 大幅壓縮;這段把抽象的科幻概念拉回最務實的工程價值。

章節

0:00從算力買家開始拆:先看誰把 GPU 買光
3:40分清四類需求端:雲端商、模型公司、企業客戶、新創
8:50看見 99% 的集中度:萬卡叢集才是大客戶的日常
12:20釐清 CSP 與 NCP:NVIDIA 為何要自己下場做雲
17:10把重心轉向推論:2,000 卡與 reasoning 才是下一段需求
21:30承認模型不是主角:前線的 knowledge 與 workflow 才是核心
26:40走進 ERP 與 SAP:把既有 workflow 變成 agent
44:20用 digital twin 與基因檢測,看見 AI 真正能救命的場景
60:10收斂到新創方法論:從小 use case 做起,累積產業脈絡

同節目其他集 看全部 ›

EP177. 馬斯克的五步演算法如何落地?Tesla 第一線實戰與那些沒講完的秘方|VK 科技閱讀時間
EP174. 矽谷傳奇創投家 Bill Gurley 新書:七成人後悔選錯工作,如何真正找到自己熱愛的事?|VK 科技閱讀時間
EP172. 黃仁勳的五層蛋糕理論(上):一座 AI 工廠從零到一怎麼蓋起來?AI 的天花板又卡在哪裡? feat. 資深科技商務顧問 Alex Cheng
EP101. Notion 高效工作系統大公開!如何同時兼顧正職、副業和生活?feat. 百萬生產力 YouTuber Jeff Su|VK 科技閱讀時間

完整逐字稿(可點句跳播)、一集白板、AI 問答與一鍵摘錄,在聽摘裡看 👇

🎧 免費聽這集+邊聽邊摘 🗺 90 秒白板 聽摘是什麼?